自己搭了个小站,把一批开源大模型自托管后聚合成一个统一网关,对外提供 OpenAI 兼容接口。内测招募中,来聊聊设计和踩坑。
核心思路
- 一个 Key 调十几个开源模型,换模型只改
model字段,不用每个模型单独申请。 - 推理跑在本地 GPU ,不经第三方中转,隐私可控(大中转站做不到)。
- 有些社区微调 / 量化模型( ornith 、huihui 、gg20b 系列)硅基流动、OpenRouter 上没有。
内测福利
- 注册送 $1 (≈¥7.3 )体验额度
- 全场 8 折( VIP 价)
- 限量 50 席
怎么接
- 站点直接聊: https://newapi.1001058.xyz
- API:
POST https://newapi.1001058.xyz/v1/chat/completions,Authorization: Bearer <令牌>,model填模型名 - 文档: https://docs.newapi.pro
坦白讲 模型跑在自建显卡上,显存有限,高峰期会排队 / 降速,这正是内测要压测的部分。聚合的是开源模型,能力对标开源阵营,不是闭源旗舰。内测不作 SLA 承诺,别传敏感数据。
欢迎来喷设计、提模型需求,或报告延迟 / 并发场景。反馈邮箱: [email protected]