用 antirez 的 llama.cpp fork 把 DeepSeek v4 Flash 在本地跑起来了

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

7 replies • 2026-04-28 14:27:48 +08:00

Livid

MOD

PRO

18h 27m ago

洗车测试也过了，不过从思考过程来看是它知道这是一道 typical 测试题：

sddyzm

PRO

18h 19m ago

Tink

PRO

9h 39m ago

是啥硬件跑的呢

Livid

MOD

PRO

9h 36m ago

@Tink M4 128G

ares001

PRO

8h 25m ago

实际运行起来占用多少显存？

Hermitist

7h 29m ago

sentinelK

5h 58m ago

相较而言，个人体感还是 Qwen3.6 35B A3B 在 localLLM 上跑的更顺一点，benchmark 评分也是和 v4 flash 互有胜负