1
anbabubabiluya 1 天前 via Android
有大佬能推荐一个部署平台吗?我也觉得 ollama 太慢了,显卡是 5060ti 16g ,最好能直接在 Windows 跑
|
2
tool2dx 1 天前 @anbabubabiluya ollama 不慢的, 我显卡比你还差, 只有 12G 显存, 但是电脑是双显卡, 加起来就有 24G 显存. 运行 ollama 上的 qwen3.6 35b-q4 版本, 如果优化后没爆显存, 速度满速飞起. 默认是爆显存 8%, 速度降为 1/6, 超慢.
|
3
catazshadow OP @anbabubabiluya lm studio 似乎可以
|
4
ebushicao 1 天前
我前段时间从 ollama 换到 lm studio 了,真的好很多,相比之下 ollama 真的是个一般的玩具
|
5
r6cb 1 天前
@anbabubabiluya #1 试试看 wsl 安装 vllm
|
6
woctordho 1 天前 via Android
@anbabubabiluya 用 llama.cpp 就行了
|
7
metalvest 1 天前 via Android
对普通用户来说这些都可以忽略,好用就行,看看豆包为什么用户这么多就知道了
|
8
rammiah 1 天前
lm-studio 支持服务器运行吗? ollama 主要是拉模型方便,modelscope ,hf 都能用
|
9
01802 1 天前 via Android
最近不用 ollama ,为了方便,koboldcpp 都行
|
10
catazshadow OP @rammiah 服务器用 llama-swap 调 llama.cpp 就行了
|