Qwen3.5-35B-A3B

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

vLLM 部署的话，需要用 uv 安装一个 nightly 版本（正常 pip install vllm 的 0.15 版本用不了）：

pip install uv
uv pip install -U vllm --torch-backend=auto --extra-index-url https://wheels.vllm.ai/nightly

3 条回复 • 2026-02-25 14:29:38 +08:00

tthem

11 小时 5 分钟前

m2max 64GB 内存，能跑的起来吗

Livid

MOD

PRO

11 小时 1 分钟前

@tthem 能。

16G 的 4080 用 LM Studio 都可以跑起来。

046569

10 小时 26 分钟前

@tthem
M1 Max 32G q4 能跑到 60t/s.
@Livid
已经用上了,除了偶尔逻辑混乱分不清自己知识库的时间(一会说自己 2024 年的知识库,一会说 2026 年),其它都挺好,准备换掉 2507.