jingle's recent timeline updates jingle's recent timeline updates |
jingleV2EX member #7996, joined on 2011-04-15 16:08:13 +08:00Today's activity rank 13221 |
jingle's recent replies
Jun 29 Replied to a topic by starlion › 程序员 › AI 变化太快，概念层出不穷？ prompt engineering 到 context engineering 到 harness engineering 到 loop engineering 到 ... ...? 会到哪里？ |
都是围绕上下文造概念，感觉不用太在意这些名词，自己把 llm 用顺了就行
May 3 Replied to a topic by stefwoo › Local LLM › github 看到一个项目， 3090 跑 27B， 129tps，最高 207tps |
DFlash 简单说就是用了个专用小模型并行预估多个 token ，如果预估得对，就会提速；如果猜错了（比如 thinking 模式就有多种不同的思考路径，从中选最优的，这个时候 DFlash 就容易跪）；然后 DDtree 的思路就是对多种不同路径的结果进行择优，因此效果是对 DFlash 选错路径风险的补充；本质上都是对 llm 自回归预估的并行加速，与输入问题的类型强相关，不是所有的场景都会被加速，比如上述那种思考路径多的情况，就浪费计算还不讨好——个人理解，仅供参考
Feb 7, 2013 Replied to a topic by Alex_L › 分享发现 › Jeff Atwood的新项目，开源论坛Discourse |
看着感觉v2ex，就跑回来了
Select Language