xiqingongzi

有个「我是鱼」，你看看

是的。作为某小龙的模型产品，补充一些我的看法（仅个人看法）
评测和体感不一致

1. 作为终端用户，我的建议是，不要太相信榜单，只作为参考，甚至也只能作为参考。原因是榜单本身是一个开卷考试，理论上如果你想考高分，你可以塞尽可能多的数据拟合题目，以获得足够高的分数。（为什么不是每个模型都刷满分？因为还需要加入其他类型的数据，以确保模型的在其他榜单效果上足够好）。所以，榜单看看就行。关键还是自己的使用体感或者自己的评测指标。

2. 关于打榜推理：打榜推理的好处是用量可控加时间短，所以可以上八路推理；得到比较好的效果。但如果是日常使用，一个是损耗比较大，因为日常的问题往往不需要那么多并行推理选其一（大部分问题没那么复杂，这也是为啥 claude code 把 ultrathink 作为一个单独的 magic word 来使用）；另外一块是要考虑到成本，国内的竞争非常的卷，以至于各家可能都是贴着成本在做，甚至亏本在卖 API ，这样导致其实很难会选择给你最强的模型推理方案。

感觉 pake 作者要恶心死了 hhh

开源模型可以自己考虑

国内的都不太用看..有安审拦截.🙀

求加群，微信 ixiqin_com

V2EX 第 57504 号会员，加入于 2014-03-05 22:35:38 +08:00
看了一下，时间过的真快啊，也是加入 V 站 11 年了。

真 · 实干家。