Home Sign Up Sign In
yiyiniu
V2EX  ›  Local LLM

有在生产上跑私有化 DeepSeek 70B 大模型的吗？什么配置的机器支持？并发多少呢？

  •   
  •   yiyiniu · Apr 18, 2025 · 1456 views
    This topic created in 400 days ago, the information mentioned may be changed or developed.
  • DeepSeek
  • 70B
  • 私有化
    2 replies
    PeiXyJ
        1
    PeiXyJ  
       Apr 18, 2025
    自己搞太麻烦了,而且是生产环境,建议买一些厂家(好像新华三就有)出的机器吧...而且会给你更好的方案...
    coefu
        2
    coefu  
       Apr 18, 2025
    ds 系列，除了最大的 MOE ，蒸馏出来的都是玩具，没有生产级别的能力。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   926 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 54ms · UTC 22:40 · PVG 06:40 · LAX 15:40 · JFK 18:40
    ♥ Do have faith in what you're doing.