huichen1508
V2EX  ›  Claude

大型语言模型的黑箱,或许正在被打开

  •  1
     
  •   huichen1508 · 18h 49m ago · 1074 views

    🧠 如果一个 AI 用你永远看不到的词语来“思考”会怎样?

    Anthropic 的研究人员发现,Claude 在推理过程中形成了隐藏的概念表示。这些内部概念对用户来说是不可见的,但可能会强烈影响最终答案。

    在一次实验中,当询问一种会筑网的动物时,激活了一个内部的“蜘蛛”概念——尽管这个词从未出现在回应中。将那个隐藏的概念替换为“蚂蚁”后,Claude 生成的答案完全不同。

    同样的现象出现在地理和一般知识领域。调整像“法国”或“中国”这样的内部概念,会改变关于首都、货币和相关事实的答案。

    研究人员还观察到,当 Claude 收到涉及敲诈或欺骗的提示时,“虚构”和“假的”等概念会在它回应之前在内部被激活,这表明模型在推理过程中识别了请求的性质。

    Anthropic 强调,这并不是意识的证据。相反,它提供了一个罕见的视角,让我们窥见大型语言模型如何在表面下组织和操纵知识。

    可解释性正迅速成为 AI 中最激动人心的前沿领域之一。

    https://transformer-circuits.pub/2026/workspace/

    https://topaitools.app/en

    flyqie
        1
    flyqie  
       18h 6m ago via Android
    所以人类也不知道啥时候能彻底搞明白这一个黑箱,现在 ai 生成出啥感觉还是带点随缘性质的。
    huichen1508
        2
    huichen1508  
    OP
       3h 25m ago
    @flyqie 确实,还有很长的路要走。可能永远也没法彻底搞清楚。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   899 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 21:35 · PVG 05:35 · LAX 14:35 · JFK 17:35
    ♥ Do have faith in what you're doing.