V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
workbest
V2EX  ›  Local LLM

2 年以后的硬件和本地大模型

  •  
  •   workbest · 20 小时 19 分钟前 · 1731 次点击

    今年内存是大概率不会降价了

    随着价格的刺激和产能的提升,以及对本地大模型的需求,2 年以后 256G 内存能否得到普及?

    256G 内存,加上本地模型的发展,应该可以在本地运行一些非常不错的 coding 模型了

    19 条回复    2026-04-05 00:44:23 +08:00
    kongkongyzt
        1
    kongkongyzt  
       19 小时 36 分钟前
    内存什么时候能回到 16G 只要 150 块钱的时候
    dmanbu
        2
    dmanbu  
       19 小时 18 分钟前   ❤️ 2
    ???但凡你了解一下硬件市场,就该知道现在内存开始跳水了
    levn
        3
    levn  
       19 小时 16 分钟前
    都用本地模型了,那企业高价买的那些内存显卡谁来使啊
    decade0q
        4
    decade0q  
       19 小时 7 分钟前 via iPhone
    内存前几天都开始降了😓
    icyalala
        5
    icyalala  
       19 小时 5 分钟前
    硬件提升,模型也在提升,最好的模型会越来越大
    更何况云端部署能 Batch, 本地模型性价比会远差于供应商
    workbest
        6
    workbest  
    OP
       19 小时 2 分钟前
    如果 2 年后的本地大模型能达到今天的 opus 4.6 或者 gpt 5.4 的水平,我觉得已经足够了
    l1ve
        7
    l1ve  
       18 小时 45 分钟前   ❤️ 1
    @dmanbu 16G 的从 1000 到 700 ,不算跳水吧,并且还叠加季度末回款的影响
    ----
    存储芯片/CPU 这东西,产能固定,扩产周期长,现在 AI 对算力的需求可以说是指数级增加的,一年前大家用 ai 编程用了多少,现在又用了多少。等 agent 落地其他行业的时候算力需求更离谱
    我记得一年前看到 vibe coding 的时候,我觉得这东西傻逼才会用
    现在我只会觉得谁不用谁是傻逼
    预计 3 年内都会维持高位了,哪怕 AI 模型再也不进步就保持目前的水平,需求都不会减少
    Gilfoyle26
        8
    Gilfoyle26  
       18 小时 44 分钟前
    预言一波:其实和手机一样的发展路线,尽管每年都出新款,但是消费者已经无感了。
    workbest
        9
    workbest  
    OP
       17 小时 29 分钟前
    @kongkongyzt 如果回到这个价格,那大家买的新机器内存都会是 256G 起步
    june4
        10
    june4  
       16 小时 46 分钟前
    苹果底端 8G 内存机是十几年前了吧,现在还是 8G,说明内存基本不会涨
    甚至硬盘也不怎么涨,内存和存储不再象 20 几年前的定期翻倍涨了,我不觉得再过 5 年会变
    cjun
        11
    cjun  
       16 小时 39 分钟前 via Android
    云端的模型比本地模型更聪明,如果是省事,省时间,还是云端模型好吧
    xiaokanhongchen
        12
    xiaokanhongchen  
       13 小时 55 分钟前 via Android
    本地的不实际,但是大企业有可能会搭建
    ntedshen
        13
    ntedshen  
       11 小时 19 分钟前
    我台式机一直是拉满的,不谈
    我的笔记本,
    16 年我就在用 32+8 。。。
    19 年我就在用 64+8 。。。
    22 年我抱怨现在笔记本接口越来越少都装不下 128 了还有人骂我傻逼。。。
    24 年 128 ( 64x2 )的条子价格平了,我没买,其实现在挺后悔的
    而市售机器今年才刚开始普及 32g 。。。

    所以,
    > 2 年以后 256G 内存能否得到普及?
    我感觉你得加个 0 。。。
    sddyzm
        14
    sddyzm  
       11 小时 14 分钟前
    何意味
    zerovoid
        15
    zerovoid  
       9 小时 15 分钟前
    除非本地部署的成本,低于云服务的成本很多,不然为什么我不用云服务呢,
    大部分人都懒得自己折腾,如果价格差不多的话。
    Very0ldMan
        16
    Very0ldMan  
       8 小时 36 分钟前
    chatGPT3.5 的时候,我就在想,如果以后开源的大模型能够有 3.5 的智力就好了。结果没想到现在 14B 的大模型已经超过 3.5 了😂😂
    forisra
        17
    forisra  
       8 小时 11 分钟前
    @kongkongyzt 这个很难了,因为当时内存存储价格低本身也是当然上游厂商对行情误判,产能过剩结果就导致了历史性的低价。

    未来就算价格崩了,我估计也很难崩到这个水平。毕竟按照正常的通胀率一年 2%-3%,十年通胀也有 30%了。
    eastcukt
        18
    eastcukt  
       7 小时 45 分钟前 via Android
    端到端的小模型感觉是未来趋势,有基础智商配合 agent 作为私人助手完全够了。如果后期 memory 层能作用小模型进行微调就更是没必要全知大模型。
    laminux29
        19
    laminux29  
       7 小时 18 分钟前
    256G 内存,加上本地模型的发展,应该可以在本地运行一些非常不错的 coding 模型了
    ===============

    这是严重的错误判断。

    现阶段,各大 Coding 模型,别说架构师了,连高级程序员的层次,都没法在每次 chat 中达到,而且还经常输出一些虽然能 work 但可维护性极差的代码。这个问题的根源还在于训练的数据、推理的算力与推理空间不足导致的,而这一切的训练与推理阶段,又都依赖超大内存,256GB 只是冰山一角,远远不够。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2541 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 00:03 · PVG 08:03 · LAX 17:03 · JFK 20:03
    ♥ Do have faith in what you're doing.