EDDYANNNG
V2EX  ›  OpenAI

GPT-5.6 出来后,我更关心的是:企业 AI 应用怎么快速接新模型?

  •  1
     
  •   EDDYANNNG · 15h 24m ago · 1248 views

    周末浅浅谈一下~

    GPT-5.6 的更新挺有意思。

    这次不只是“模型更聪明”这么简单,像 Sol / Terra / Luna 分层、ultra mode 、subagents 、computer use 、coding / research 能力增强,其实都在说明一个趋势:大模型正在从单次问答,往更复杂的任务执行和 Agent 协作方向走。

    但我自己在做企业 AI 应用相关项目时,感受比较明显的是:模型能力越强,企业侧反而越需要一个稳定的“接入层”。

    因为真实项目里很少只用一个模型。

    今天可能用 GPT-5.6 做复杂推理,明天用 Claude 做长文本分析,后天又想接一些开源模型、本地模型,或者把 Skills 、RAG 、Agent workflow 接进来。 如果每个业务应用都单独对接一遍 API ,后面维护会很痛苦。

    我觉得企业 AI 应用真正麻烦的地方,通常不是“能不能调通模型”,而是这些问题:

    • 多模型怎么统一管理?
    • GPT 、Claude 、开源模型怎么快速切换?
    • 不同任务能不能走不同模型?
    • Token 用量和成本怎么统计?
    • Agent 执行过程怎么留日志?
    • RAG 召回和工作流怎么接在一起?
    • 权限和私有化部署怎么处理?
    • 后续模型升级时,业务应用能不能少改代码?

    这也是我们最近在做 ZGI 的原因。

    ZGI 已经开源两周左右,目前 GitHub 有 200+ Stars ,Gitee 也同步上线了。它不是一个单纯的聊天机器人壳子,更像是一个企业 AI 应用基础设施,主要做几件事:

    1. 知识库 / RAG 把企业文档、知识库、召回链路接入 AI 应用。

    2. 可视化工作流 把 Prompt 、知识检索、工具调用、条件判断、模型推理串起来,少写一些重复胶水代码。

    3. Agent 执行和运行日志 Agent 不只是能调用工具,也需要知道它做了什么、哪一步出错、怎么回溯。

    4. 模型网关 统一接 GPT 、Claude 、开源模型和私有模型。后续像 GPT-5.6 这种新模型,也可以通过模型网关更快接入,而不是每个应用都改一遍。

    5. 私有化部署与权限控制 企业内部使用 AI ,很多时候数据安全、权限隔离、成本统计比 Demo 效果更重要。

    我现在比较想听听大家的真实看法:

    如果你们公司要接 GPT-5.6 / Claude / 开源模型,会倾向于每个应用自己接,还是统一走一个模型网关? 做企业 AI 应用时,你觉得最卡的是模型能力、RAG 效果、工作流,还是私有化部署?

    ZGI 现在可以在 GitHub / Gitee 查询到,也欢迎直接提 Issue 或拍砖。我们现在最需要的不是夸,而是真实开发者反馈。

    7 replies    2026-07-12 20:02:52 +08:00
    EDDYANNNG
        1
    EDDYANNNG  
    OP
       15h 0m ago
    如果提 issue ,我们会有开发者小福利的,一些 token
    JasonYip
        2
    JasonYip  
       14h 47m ago via Android
    网关层有没有脱敏的功能?比如对 prompt 里面的敏感数据自动脱敏 还能尽量不影响缓存命中
    111111111111
        3
    111111111111  
       14h 28m ago
    可以理解为一个 web 版的 agent 平台么,我也有类似的想法,正在使用 fastapi + acp + claude 手撸

    看来一下 github ,好像是自己实现了一个 agent runtime ,对 skill 、mcp 这些支持程度程度没看到,比大厂开源的 agent 有什么优势吗

    cloud.zgi.ai/login 没有提供账号也不允许注册,本来像预览一下的
    wikisu
        4
    wikisu  
       14h 10m ago
    模型的话,我觉得用类似于 new-API 深度对接到系统里面,做好权限区分和隔离。这一套完全自己手搓的话,也太重了。这个如果只是 runtime 的话,市面上已经有其他很多 Agent 框架了,和这些功能都是重叠的吧? op 这个有什么群组或者联系方式吗?我最近也在搞类似的东西,可以一起交流下。
    isSamle
        5
    isSamle  
       14h 7m ago
    从开发角度来讲,通常是会有一个对应的供应商和模型配置管理功能,所有的接入,监控,管控通过模型管理模块实现,然后在执行任务时,由用户自由切换,或者配置一个主管模型进行智能调度
    yjxjn
        6
    yjxjn  
       11h 46m ago
    这个本来不得先做 Gateway,然后模型路由么?然后 gateway 负责管理整个 app。向不同 app 分发么?包括用量,审计日志,权限,等等。
    xiaoheicat
        7
    xiaoheicat  
       9h 6m ago
    企业级还是会优先考虑 AI 网关的,这个日志审计,权限管控,费用预算,结构兼容都做的挺好,下游应用只管按 sdk 接入就行了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   855 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 51ms · UTC 21:09 · PVG 05:09 · LAX 14:09 · JFK 17:09
    ♥ Do have faith in what you're doing.