wxmomomowx
V2EX  ›  Local LLM

2052 年了,求推荐一个可本地部署的 ai 程序员 可学习自己“训练”的内容?

  •  
  •   wxmomomowx · Nov 15, 2025 · 2773 views
    This topic created in 205 days ago, the information mentioned may be changed or developed.
    如本地部署后,专攻一个语言和一个项目,可有效果的 ai 程序员帮手,有吗?🙏
    8 replies    2025-11-16 00:42:48 +08:00
    wKong753900
        1
    wKong753900  
       Nov 15, 2025
    蹲点,我也想问这个问题
    bingyuanlang
        2
    bingyuanlang  
       Nov 15, 2025
    联网的大参数都搞的不怎么行,你本地的,我感觉都不如在线
    xinqian
        3
    xinqian  
       Nov 15, 2025
    也有这个需求
    TVXL
        4
    TVXL  
       Nov 15, 2025
    本地的 ai 程序员?单独配台服务器都要不少钱,如果在自己电脑上搞,属实没什么用啊,电脑配置不够的话能部署多少参数的模型? 16g 显存倒是可以部署一个 openai 的模型。做做小项目应该可以,但是大一点的还是性价比太低了。主要还是配置不够,可选的模型普遍参数不高,不如调 api
    TabGre
        5
    TabGre  
       Nov 15, 2025 via iPhone
    台湾大学李宏毅老师最近课程说了一句话:微调模型是最后的一步。总结,不要瞎折腾😆
    paopjian
        6
    paopjian  
       Nov 15, 2025
    本地部署就是那些 32B 7B 模型, 自己训练的内容其实现在都是用 RAG, 就是作为资料库提供给模型进行使用, 但是不存在你能微调改参数的, 因为那也是训练, 要显卡的, 不如先试用线上服务做 RAG, 可行之后再找小模型本地部署
    scegg
        7
    scegg  
       Nov 15, 2025
    2052 年也许会有。2025 年 11 月没有。
    本地部署一个能用的模型也需要不小的资源,要训练的话,资源还要翻好几倍,并且要有充足的时间和训练(包括材料和标注)。
    HankAviator
        8
    HankAviator  
       Nov 16, 2025
    足添蛇画要必没,了好够足都 MLL 的有现但,跑己自以可都上论理位到件硬
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1263 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 23:45 · PVG 07:45 · LAX 16:45 · JFK 19:45
    ♥ Do have faith in what you're doing.