• 请不要在回答技术问题时复制粘贴 AI 生成的内容
cheman
V2EX  ›  程序员

公司想搞本地化算力部署 deepseek coder v2 给技术用,听到 AMD 锐龙 AI Halo 也不算贵,可行么

  •  
  •   cheman · 12h 59m ago · 2315 views

    AMD 锐龙 AI Halo 2.7w rmb ,现在每月花在 token 上的钱其实感觉是蛮多的,有这样的一个方向性的想法,不知道会有什么坑,或者问题,有人懂么,专业点的看法。

    34 replies    2026-06-17 03:33:03 +08:00
    afkool
        1
    afkool  
       12h 54m ago
    要是我的公司就公司自己开 pro20 。。
    javalaw2010
        2
    javalaw2010  
       12h 52m ago   ❤️ 4
    按照现在的说法,这玩意儿是上古模型了吧,部署这玩意儿干啥,形成不了生产力的话不就是在浪费钱吗
    xtreme1
        3
    xtreme1  
       12h 52m ago   ❤️ 1
    halo 主要是算力低 encode prefill 都很慢
    其次也没涨到这么贵

    这个规模的模型能不能满足你需求, 可以先租赁个云算力试一下
    sentinelK
        4
    sentinelK  
       12h 50m ago   ❤️ 1
    1 、这个模型真的能符合你的需求吗?
    2 、这个设备是统一内存,所以速度非常感人。你能忍受你每轮对话 1 分钟 AI 才吐字,10 分钟给你改一行代码吗?如果能忍你就可以冲。
    zhangaugust
        5
    zhangaugust  
       12h 49m ago
    这模型也太老了吧
    ntdll
        6
    ntdll  
       12h 43m ago   ❤️ 1
    你先买 100 块钱的这个模型 API ,给你的技术用一下,然后听听他的反馈,你就知道答案了。如果你都找不到这个模型的购买,那么答案你应该也已经知道了。
    cheman
        7
    cheman  
    OP
       12h 40m ago
    @javalaw2010 谢谢解答。感觉 deepseek v4 pro 好像不太现实,或者 部署 deepseek v4 flash 比 deepseek coder v2 更好?或者有什么更好的模型推荐或者硬件搭配方案?
    cheman
        8
    cheman  
    OP
       12h 40m ago
    @ntdll 谢谢解答。
    op351
        9
    op351  
       12h 39m ago   ❤️ 1
    现阶段本地部署除了能保证 100%数据隐私合规可控,有什么其他优势?
    而且真要合规的话和国内算力或者模型提供商签正规合同就好了,写好条款保证不收集任何数据。
    fcten
        10
    fcten  
       12h 35m ago   ❤️ 2
    H20 整机大概 200 万,可以部署几乎所有的顶级开源模型了(如果不是全部的话)。这些钱如果用来采购 claude 的 api ,大概也就够十来个人的部门烧 2 个月。

    实在要省钱,RTX PRO 6000 也行,整机估计 100 万吧。AMD AI Halo 这种消费级产品也就个人玩玩,公司还是算了吧。
    cheman
        11
    cheman  
    OP
       12h 34m ago
    @op351 是的,我们的出发点还是钱的问题,因为每月也花 5-8K 在这上面,如果更便宜的话,是有点心动做本地化的
    cheman
        12
    cheman  
    OP
       12h 32m ago
    @fcten 嗯嗯,谢谢你专业的解答,给到我具体的价位,现在有了大致清晰的认知。
    cheman
        13
    cheman  
    OP
       12h 31m ago
    @sentinelK 确实要把这想法放放了
    jackOff
        14
    jackOff  
       12h 28m ago
    裁员一个员工经费不就有了?一个月才几千费用,总比一个员工上万工资支出好吧
    emberzhang
        15
    emberzhang  
       12h 26m ago   ❤️ 1
    小公司比较合适的目前看来就是 deepseek-v4-flash 才能用且基本够用。但编程需要长上下文,要上下文满载 + 多用户并发还不慢的,性能要求可不低。2.7w 也就一台 GB10 的成本 ,肯定是不够的
    xiaomushen
        16
    xiaomushen  
       12h 25m ago
    这模型的 code 能力,远弱于 qwen3.6 27b
    xiaomushen
        17
    xiaomushen  
       12h 23m ago
    @fcten 合规使用 Claude ,确实贵得要命。而且在国内,就算合规使用,也是带些中间灰色环节的
    jimrok
        18
    jimrok  
       12h 21m ago   ❤️ 1
    先放一放,国产模型刚迈过可用的阶段,后续迭代可能要加速,建议还是找云端供应商,例如租火山或者腾讯的服务,自己建未必便宜。而且算卡的折旧会很快,3 年估计你的算卡就不值钱了。
    cheman
        19
    cheman  
    OP
       11h 42m ago
    @jimrok ok,ok,ok ,放下这个想法了,非常感谢
    Lax
        20
    Lax  
       11h 2m ago
    token 使用是要分级别的。编码和架构设计肯定是用最新的模型。而一些流程性和概括文档之类的任务则可以使用简单模型。
    作为一个老运维,看到的事情根本就不是直接去搞替换,而是先考虑怎么分层次做好 token 预算管理、用量监控、使用规范。至于要不要自建以及自建什么模型,到时候都是水到渠成的事。
    现在搞 GPU/token 算力,跟以前堆 CPU 内存这些资源是基本一样的。公有云刚发展的时代,自建服务器尚且有些生存空间。现在自建 GPU 算力的风险比以前高不少,搞本地部署除非有其它原因比如所谓的数据隐私
    ala2008
        21
    ala2008  
       11h 2m ago
    日常开发能用这么多 token ?我感觉我们日常用 cursor 就可以了
    msg7086
        22
    msg7086  
       10h 46m ago
    我实际的体验来说,一个好的模型哪怕价格是便宜模型的 5 倍也可能是前者最终更便宜。
    同时用着 5.5 XH 和 3.5 Flash ,要达到同样的代码质量,前者花费的钱应该更少。
    我之前同样做一个重构,3.5 改着改着就漏东西或者写错东西了,5.5 几乎可以一遍过,跑完测试就可以提交了。
    如果同样两个人用两个模型做同一个需求,用 3.5 那个人得一遍一遍检查调试迭代,5.5 的那个人一把做完提交就可以摸鱼去了。
    自建的话更痛苦,因为 token 输出速度更低,你要同时忍受更低的智力和更低的速度。别人 20 分钟干完的活你可能要干一整天,还要吃降血压的药。
    coefu
        23
    coefu  
       10h 46m ago
    这么点成本的投入给公司集体用?就 amd 这机器的 umem 带宽,你自己一个人用都慢的无法接受,还给集体并发用,想什么呢。公司机器用没有个几百万的投入,都不用开始。
    calvinHxx
        24
    calvinHxx  
       8h 46m ago
    local llm 作为玩具还行 生产力就算了吧,
    要不先去了解一下一块 H200 多钱?能提供多少算力? deepseek pro 1.6T 算力 勉强能当生产力用用
    花 千万 rmb 本地部署, 感觉不如去开 prox20
    martinm
        25
    martinm  
       8h 24m ago via Android
    别幻想了,订阅顶级模型吧
    longaiwp
        26
    longaiwp  
       8h 4m ago
    别想太多了,拿这 2.7W 用 DeepSeek 能全公司用一整年了。
    coderfee
        27
    coderfee  
       8h 3m ago via iPhone
    这模型,把员工当日本人整吗
    roygong
        28
    roygong  
       8h 0m ago via iPhone
    没个大几百万买 H200 或者 H20 整机还是趁早洗洗睡吧,本地部署成本大到吓人
    106npo
        29
    106npo  
       7h 50m ago
    就算部署起来,不算硬件投入,光电费都比你买 token 贵.
    Immortal
        30
    Immortal  
       7h 41m ago
    别折腾了 花点 token 钱得了
    Biem
        31
    Biem  
       6h 30m ago
    可能把这钱拿去找实习生然后说有转正机会会更值。
    james2013
        32
    james2013  
       6h 3m ago via Android
    那还不如给每个员工配个 opencodego 会员,首月 5 美元,以后每月是 10 美元(据说会员失效重新订阅仍是 5 美元),每月用 deepseek v4 flash 估计用不完。
    opencode zen 有免费的 deepseek v4 flash ,每天可以少量免费使用
    wsbqdyhm
        33
    wsbqdyhm  
       4h 39m ago
    @coefu 真是一个人用都嫌弃得玩意
    martinm
        34
    martinm  
       13 mins ago via Android
    技术,程序员不会用这种淘汰的模型,模型智商不够会胡说八道,开 DeepSeek 最便宜了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   964 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 87ms · UTC 19:46 · PVG 03:46 · LAX 12:46 · JFK 15:46
    ♥ Do have faith in what you're doing.