前段时间 qwen3.5 发布的时候,试着用 4070 跑 9b 版本,发现配合 openclaw 玩都玩不起来,而且上下文只能开到大概 32k 左右。正好这段时间没什么好折腾的了( NAS 和软路由已经稳定运行中),所以买了两块 3060 12g 和 x99 的大板和 E5 3673V3 ,另外配了个 1200w 的电源,内存用主力机拆下来的 16x2 (主力成二奶了)。
正巧赶上 qwen3.6 发布,试着跑了 27b 和 35b 模型,最终使用 mudler/Qwen3.6-35B-A3B-APEX-GGUF 模型,开 128k 上下文,输入 2000tps ,输出在 100tps ,当然上下文达到一定程度就开始胡扯降速了。
现在配合 hermes agent ,感觉可玩性挺高的,作为代码小白,可以帮我写一些小的脚本
折腾完索然无味还能出掉回点血,相当于花个千把块钱让自己又爽玩了一段时间。
正巧赶上 qwen3.6 发布,试着跑了 27b 和 35b 模型,最终使用 mudler/Qwen3.6-35B-A3B-APEX-GGUF 模型,开 128k 上下文,输入 2000tps ,输出在 100tps ,当然上下文达到一定程度就开始胡扯降速了。
现在配合 hermes agent ,感觉可玩性挺高的,作为代码小白,可以帮我写一些小的脚本
折腾完索然无味还能出掉回点血,相当于花个千把块钱让自己又爽玩了一段时间。