现在只想到了路由配置、APIKEY 配置、token 统计与限制、限速与并发控制、自动化的封禁规则和监控。
还有哪些功能能够添加进去？
Token 统计
14 条回复 • 2026-03-11 00:19:42 +08:00
 |
1
cryptovae 16 小时 24 分钟前
我缓缓打出了一个？
为什么我不直接用 oneapi newapi |
 |
3
heimoshuiyu 15 小时 50 分钟前 via Android
负载均衡，透明重试，首字符超时，缓存识别，解码速度监控，模型别名，http 连接复用，绕过风控的多 key 轮训网络代理
|
 |
4
meeop 15 小时 12 分钟前
我倒是有建议：
1 实现极高可靠性，可靠到你个人和服务器都被物理封禁，服务依然可靠稳定可用，换句话说可保证无视各家 api 地域政策保证可用性 2 实现 api 供应商的收款支付能力，这样就能构成一个 api 供给和采购的市场 |
 |
5
midraos OP  1
@heimoshuiyu #3 解码速度监控和 http 连接复用加进来很不错。
我设计的目标是一个 LLM api 特化的 Nginx 透明代理类型的网关，用于保护与隐藏真实的 apikey ，网关中会拦截 LLM api 中的 apikey 、X-Forwarded-For 和 UA ，其他的都直接进行透传了，所以像重试、首字符超时这些都扔给使用 api 的 client 了； 加入负载均衡可能会导致 LLM 服务商的输入缓存失效，就没做这个功能了 |
 |
6
fhy1994 13 小时 20 分钟前
我前一段也用 rust 的 Tauri 做了一个：
https://github.com/userfhy/SSLProxyManager-Tauri |
 |
8
HFX3389 12 小时 21 分钟前
这也是一个聚合层吗？现在好多聚合层了 metapi 、octopus 、Aether 、axonhub 都是，可以让 AI 参考他们的功能嘛~
|
 |
9
beyondstars 12 小时 12 分钟前 1
当作一个练手项目我觉得是没问题的，造轮子的学习意义大于实用意义，市面上的确有成熟的方案前面的回复已经有人说了。
|
|
10
midraos OP @HFX3389 #8 可以看作是 axonhub 这类平台的劣化版，好听点叫轻量化，设计目标就是一个轻量级的透明反向代理，针对 LLM 服务进行了特化定制，确实可以借鉴学习这几个项目中对边界的划分
|
|
11
midraos OP @beyondstars #9 和市面上的成熟的平台化产品的叙事角度不太一样，我的设计目标是一个轻量化的透明反向代理，服务跑起来后只占用 20M Ram 和 0.5%的 Cpu ，不算是一个完全自嗨的玩具
|
 |
12
qwer666df 11 小时 1 分钟前
好奇这个后台也是 AI 做的吗，包含登录注册吗？最近想做一个新的管理后台，需要从老的移植到新的，包括登录/权限，感觉 AI 做不了啊，
|
 |
13
hanguofu 5 小时 7 分钟前
有意思~ 我可以试用一下吗 ？
|
Select Language