Koimiao
V2EX  ›  Local LLM

一个 15MB Rust 二进制文件的 Agent CLI,零运行时依赖,旨在充分发挥任何模型的性能

  •  
  •   Koimiao · 2h 19m ago · 293 views
    Ante 是一个仅 15MB 的二进制文件,它管理着自己的推理引擎。添加一个 GGUF 文件,即可在您自己的硬件上拥有一个完整的编码代理:无需 API 密钥,无需帐户,模型调用也永远不会离开您的计算机。

    GitHub link:https://github.com/AntigmaLabs/ante
    🙏希望感兴趣的朋友们能帮忙点点 star⭐️

    实测:电脑是 MacBook Pro M4 Max ,基于当前可⽤运⾏内存,提示最适合的可运⾏离线⼤模型为 Qwen3.6 27B ( 17GB )。并且本地跑起来,切换、对话都⼗分⽅便。Ante 对本地模型做全⽣命周期管理:模型下载、加载前预估、启动停⽌。
    4 replies    2026-08-12 16:57:12 +08:00
    Tink
        1
    Tink  
       2h 13m ago
    如果电脑性能弱的话咋办呢
    shidianxia
        2
    shidianxia  
       2h 7m ago
    🌟了,想问下如果用第三方 api 的话,使用起来体验相比 codex 之类有什么差别吗?
    Koimiao
        3
    Koimiao  
    OP
       2h 4m ago
    @Tink 可以换参数量更小的模型,或者先用项目送的 token 过渡一下
    Koimiao
        4
    Koimiao  
    OP
       1h 58m ago
    @shidianxia tui 使用的体验会比 codex 好很多,比较接近 claude code 。而且相较于 codex 和 claude code 项目专门做过 system prompt 这部分的优化,相对来说会比较省 token
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3304 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 80ms · UTC 10:56 · PVG 18:56 · LAX 03:56 · JFK 06:56
    ♥ Do have faith in what you're doing.