V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
ken2025
V2EX  ›  Local LLM

请问各位大神,在隔离环境中,有本地 qwen 大模型,有没什么解决方案,做本地的知识库的方案,类似谷歌那个 notebooklm ,也勉强可以?

  •  
  •   ken2025 · 21h 9m ago · 776 views
    4 replies    2026-05-02 19:14:11 +08:00
    onedge
        1
    onedge  
       20h 58m ago
    了解一下标准的 RAG 流 https://zhuanlan.zhihu.com/p/1890727581348778391 直接喂 AI 让它帮你实现本地服务,所有服务挂一个 docker 容器里。

    一般精度要求的话,大概是这个步骤:

    服务端入:进原始文件,本地就不用额外存储文件了,进行切片,转向量/存储 (qwen embedding 4b)
    客户端查:开发自己的前台/前端,提问转向量(如 qwen embedding 4b ),向量数据库查,排序模型重排序,返回给用户,带 source 源头标记

    其他还有图片输入查询之类的你直接问 AI 实现即可
    ken2025
        2
    ken2025  
    OP
       20h 8m ago
    rag 这个是不是还存在上下文的问题,之前试过直接挂载知识库,效果不好
    oldlamp
        3
    oldlamp  
       27 mins ago
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2459 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 11:40 · PVG 19:40 · LAX 04:40 · JFK 07:40
    ♥ Do have faith in what you're doing.