V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 344 days ago, the information mentioned may be changed or developed.
如果我想搞一个本地部署的 AI ，喂给它公司产品的所有资料，比如说明书之类的 PDF,PPT ，达到一个知识库的作用，有什么推荐吗？能详细一点最好，谢谢。
最好也有硬件的大概需求。
大概有 1-200 个产品。
最好也有硬件的大概需求。
大概有 1-200 个产品。
 |
1
iv8d May 30, 2025  1
ollama
|
 |
2
murmur May 30, 2025
200 个产品本地部署你得几套 deepseek 才够用哦
|
 |
3
coefu May 30, 2025
很拉，没效果的。
|
 |
4
dualist May 30, 2025 2
你要做的是把知识库的每个文件元数据提取出来，然后存到 db 或者非关系数据库，暴露个接口参数让 AI 调用搜索结果，解析结果返回数据就行而不是全部喂给 AI
|
 |
5
zxcvbnm001 May 30, 2025 via iPhone 1
可以选择 rag ，目前看微调还是不如 rag 稳定
|
 |
6
luny May 30, 2025 1
ollama+dify
|
 |
7
444571840 May 30, 2025
本地 AI 不是特别推荐，当玩具玩玩可以，生产力就算了
|
 |
10
YsHaNg May 31, 2025 via iPhone 1
@murmur pcie 槽够多就行 200 也不是很大 多插点卡完事 这里也没什么并发需求 重要的是权重+上下文能塞进显存里 r1 模型卡 128k 属实不适合干这种事 实际召回率更低
|
 |
11
happybabys Jun 1, 2025 1
模型没有最强的，只有最适合的，本地部署是正确的选择
|
Select Language