flkaylor19
V2EX  ›  Local LLM

笔记本 125B 模型 Q4 量化, xHigh256k 调优峰值 64tps。附部署和调优源码

  •  
  •   flkaylor19 · 11h 23m ago · 451 views

    笔记本:幻 X2025 windows 96G 显存分配 32G RAM 操作模式:增强模式 修了识图,去拒答 配置:q4xs 量化、上下文 256K ,配置如下,96G 显存分配 32GRAM 峰值 64.63TPS 智商类似不降智 opus4.6 https://github.com/xszwow/Strata

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1148 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 23:21 · PVG 07:21 · LAX 16:21 · JFK 19:21
    ♥ Do have faith in what you're doing.