• 请不要在回答技术问题时复制粘贴 AI 生成的内容
donkeylucky
V2EX  ›  程序员

1w token 每秒

  •  
  •   donkeylucky · 15h 55m ago · 1344 views

    设想一下 如果 opus 5.5 gptimage2.5 MiniMax h3 这样能力的 AI 可以跑出 1w tps 会出现什么? 是不是 90% 的软件不需要了 ? 影视行业不需要演员了? 所有码农消失? 股市发生巨大变革?

    8 replies  •  2026-10-16 15:26:42 +08:00
    maocat
        1
    maocat  
       15h 41m ago   ❤️ 1
    “知识的海洋”
    “全是大便味道的”
    sentinelK
        2
    sentinelK  
       15h 38m ago
    瓶颈跟性能没什么关系。
    核心还是上下文长度、注意力机制、上下文捕获能力,以及最终的概率泛化能力上。
    dcvsiug
        3
    dcvsiug  
       15h 36m ago
    h3 可以实时直播了
    Nasdaq
        4
    Nasdaq  
       15h 34m ago
    丢,那刚想出来一个念头,AI 直接落地了(文字方面)。
    cvooc
        5
    cvooc  
       15h 32m ago
    没啥用 mimo 有每秒 1000t 的 api, 体验下来还是会受到本地命令执行速度的限制
    JohnSwit
        6
    JohnSwit  
       15h 31m ago
    有一家公司就是把 Llama 3.1 8B 模型权重直接固化在芯片中,速度能到是 1.7W token/s 。

    虽然把 opus 这种级别的固化在芯片上的可能性不高,但是其他差不多的模型如果能固化在上面,装一个芯片可能就拥有相关的能力,还是挺强的。

    https://chatjimmy.ai/ 可以在线体验一下速度。
    gitlight
        7
    gitlight  
       15h 26m ago
    如果你说的能够实现,以后的软件就是多个业务领域本体约束+Agent 实时翻译自然语言的方式,具体实现某些功能是不经济的,因为会被其他 Agent 分钟级地反编译出来,不如把开发 token 成本转到 runtime 上。。

    不过我觉得就算码农会消失,软件工程也不会消失
    flyico
        8
    flyico  
       14h 46m ago
    以后的大趋势,应该是念头说出来,AI 直接输出可执行的 native binary ,连 coding ,编译都跳过了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   943 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 22:13 · PVG 06:13 · LAX 15:13 · JFK 18:13
    ♥ Do have faith in what you're doing.