懒人看板：
总结：
云端高性能选 TensorRT-LLM ，云端灵活性选 vLLM ，Agent 场景选 SGLang ，Mac 用户闭眼选 oMLX ，本地试错选 Ollama ，手机端选 MLC LLM ，国产算力选 LMDeploy 。
总结：
云端高性能选 TensorRT-LLM ，云端灵活性选 vLLM ，Agent 场景选 SGLang ，Mac 用户闭眼选 oMLX ，本地试错选 Ollama ，手机端选 MLC LLM ，国产算力选 LMDeploy 。
 |
1
Curtion 15 小时 25 分钟前
这是哪个 ai 总结的哦，把 Ollama 放进去了，但既没有 LM Studio 也没有 llama.cpp, 到底按什么分类算的。
|
 |
2
jetsung 15 小时 22 分钟前
llama.cpp 呢？
|
 |
3
jimrok 13 小时 57 分钟前
有没有适合端侧的框架，可以处理个人的知识库数据，深度信息还可以从云端更新知识库。
|
 |
4
suke119 OP |
|
5
suke119 OP @jimrok 端侧一般说的是边缘设备，但是你的想法应该是个人私有本地使用，这种其实 ollama+graphrag 是最佳的，因为我们自己用最重要的是 准确，性能其实没必要多好的
|
|
6
jetsung 13 小时 38 分钟前
@suke119 ...不是。LLAMA.CPP 怎么也说不得不能快速上手吧？
sudo -i V=b7885 curl -LO https://github.com/ggml-org/llama.cpp/releases/download/$V/llama-$V-bin-ubuntu-x64.tar.gz rm -rf /usr/local/llama tar -zxvf llama-$V-bin-ubuntu-x64.tar.gz mv llama-$V /usr/local/llama rm -rf llama-$V-bin-ubuntu-x64.tar.gz ln -sf /usr/local/llama/* /usr/local/bin/ |
 |
7
ExplodingDragon 13 小时 34 分钟前
ollama / LM Studio 本质还是 llama.cpp ，而且你这个不是框架/引擎对比吗，没太大参考价值
|
|
8
ExplodingDragon 13 小时 30 分钟前
回复快了 ( ollama 不适合，自从搞了所谓的 cloud 后新模型适配很慢了，还有 lm studio 是闭源的并且也是 llama.cpp ，不如直接用 llama.cpp ; 至于说使用复杂度，你都提到了 vllm 了，llama.cpp 那不是更简单，现在 llama.cpp 也可以去拉 hf 的模型了
|
|
9
suke119 OP @jetsung @ExplodingDragon 你把角度放到专业和非专业上，专业的人员对于配置 vllm 或者 llama cpp 而言没什么区别，但是 考虑到部署是绝不会用 llama cpp 的，然后再回到非专业人员上，命令行都不懂，直接下载个 exe 安装多方便
|
Select Language