sillydaddy
5.46D
4.79D
V2EX  ›  Local LLM

个人是否应该投资购买 DGX Spark 之类的硬件来跑开源模型?既是自用,也是某种防止硬件涨价的投资?

  •  
  •   sillydaddy · 1h 3m ago · 565 views
    考虑这几个因素:
    1. 回本周期看起来还行,特别是考虑到现在涨价后的 token 价格。用完的硬件还可以二次出售。
    2. 硬件产能似乎不足,逼得 DeepSeek 官方也涨价了。硬件价格短期应该缓解不了吧。
    3. 模型越来越聪明了。本地化也很够用了。

    或者有其他更好的方案吗?从没想过靠硬件来保值。硬件小白,诸位轻喷。
    18 replies    2026-08-17 14:49:23 +08:00
    sentinelK
        1
    sentinelK  
       1h 0m ago
    “回本周期看起来还行”这个是如何得出的如此结论?
    musi
        2
    musi  
       58 mins ago
    "回本周期看起来还行"
    如果真的还行的话模型厂商为什么不直接扫货然后对外提供服务?
    sillydaddy
        3
    sillydaddy  
    OP
       58 mins ago
    @sentinelK 简单估算了下跑满的 token 产出量: https://sunp.eu.org/t/1232688#r_17950784
    bunai
        4
    bunai  
       57 mins ago
    买 token 更换算吧
    catning
        5
    catning  
       56 mins ago
    纯讨论啊,我觉得 AI 市场已经很泡沫了(单纯投资方面),靠倒腾硬件很容易跌个跟头。再说,怎么定义你说的“用完的硬件还可以二次出售”,你不用了,对别人还有用吗,硬件也会推陈出新,所以某一款硬件一直保持在高价位是不可能的。
    虽然 deepseek 涨价了,一定使用量的情况下,还是比你自己维护要省心和便宜,我实在看不出来投资的必要,要不然我早入了。
    1258
        6
    1258  
       56 mins ago
    如无刚需,感觉还是不要创造需求吧。
    sentinelK
        7
    sentinelK  
       55 mins ago
    @sillydaddy 这个预估完全失真。

    实际使用中,一定是在 harness 场景下,harness 有巨量的系统提示词,即便是计算上超高的缓存命中,prefill 和 decode 的运算占比最终接近 7:3 。如果你计算上 prefill 的速度,你就会发现大概是 15~20 年回本。
    shintendo
        8
    shintendo  
       54 mins ago
    纯经济考虑肯定是不划算的,自建基本是隐私因素
    privil
        9
    privil  
       52 mins ago   ❤️ 1
    @sentinelK #7 如果有更小更强的模型呢,回本周期也会变短,咋说呢,都是赌。哈哈。我去年买的显卡还涨价一点点
    sentinelK
        10
    sentinelK  
       50 mins ago
    @privil 但是楼主押宝的是 GB10 ,他的“显存”带宽很小。如果楼主买的是 rtx pro 6000 maxQ ,4 卡集群,我都认为合理。

    GB10 就注定了大模型能跑,跑不快,小模型跑不过显卡。
    lscho
        11
    lscho  
       48 mins ago
    AI 泡沫不炸之前,肯定划算。。。因为硬件保值。不考虑硬件的话,绝对不划算
    bunai
        12
    bunai  
       45 mins ago
    op 买四台 4090 都比这个跑的快
    privil
        13
    privil  
       43 mins ago
    @sentinelK #10 这玩意最近几个月都翻倍了。那是真炸裂啊
    sentinelK
        14
    sentinelK  
       41 mins ago
    @privil 主要是还有个 Minimax H3 ,这个相比较 qwen3.8-27B ,要更炸裂一点。

    相当于把 seedance2.0 的生产力下发给了终端。
    sillydaddy
        15
    sillydaddy  
    OP
       29 mins ago
    @sentinelK #7 就算按 7:3 ,也不是 15~20 年啊,最多翻个 3 倍,算 10 年。

    主要是这种估算变数比较大:
    那里面估算的时候,取的是平均单次 API 调用花费¥0.004 ,这本身就有些低估。而且现在涨价了,估计单价这项得翻个几倍。
    再加上多路并发,也可以有个几倍。
    sampdoria
        16
    sampdoria  
       21 mins ago
    @sillydaddy 硬件如果要 10 年回本,那可以认为全生命周期就是无法回本的。

    这里还存在新的软件架构不支持老硬件的风险
    zhengfan2016
        17
    zhengfan2016  
       13 mins ago
    上游租用 gpu 部署模型也没大幅涨价吧,买全款和那些 21 年上车房子的有啥区别
    aimuz
        18
    aimuz  
       11 mins ago
    DGX Spark 硬件只能跑量化模型吧?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5744 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 144ms · UTC 07:00 · PVG 15:00 · LAX 00:00 · JFK 03:00
    ♥ Do have faith in what you're doing.