AI Skill推荐推荐AI开源

AI 网关 OmniRoute:290 家模型一个端点

📅 2026-08-02

OmniRoute 是 2026 年开源圈增长最快的项目之一:GitHub 37k stars,MIT 协议,TypeScript 编写,本周新增 7k+ stars,登上 GitHub Trending 前列。它做的事情一句话讲完——把 290 家模型提供商、500+ 模型收敛成一个 OpenAI 兼容端点。Claude、GPT、Gemini、DeepSeek、Kimi、GLM、通义,全部通过同一个 baseURL 调用。开发者不用为每家提供商写一套 SDK,不用维护一堆 API key,所有请求从本地网关转发,模型名是唯一的路由参数。

这个项目 2026 年 2 月才创建,半年冲到 37k stars,靠的是三个实打实的能力。

亮点一:auto 路由,装完就能用

OmniRoute 默认的 model 是 auto。这个名字不是营销话术,是它的核心机制:网关根据每个提供商实时的可用性、延迟、成本、配额余量打分,自动选择当前最优的模型响应请求。auto/cheap 优先最便宜,auto/fast 优先最低延迟,auto/offline 优先配额余量最大的提供商,auto/coding 偏向代码生成质量。

背后是 19 种路由策略,从 round-robin、least-used 这类基础策略,到 cost-optimized、cache-optimized 这类目标导向策略。配额耗尽、提供商故障、价格波动,combo 自动滑动到下一个模型,调用方无感。装完零配置即可用——内置 OpenCode Free 和 Felo 两个免 key 提供商,第一次启动就能返回结果。

亮点二:免费额度,算得明明白白

90+ 家提供商有免费档,40+ 家永久免费。OmniRoute 把这些免费档聚合成一个可统计的总额:43 个 provider pool、516 个模型的可免费调用量合计约 1.53B token/月,首月叠加各家注册赠送最高约 2.15B。dashboard 的 free-tiers 页面实时显示各家剩余额度,哪个提供商快用完了、该切到哪家,一目了然。

数字每两周重新审计一次,提供商停掉免费档就下调,新增就上调,不粉饰。

亮点三:12 引擎压缩管线

每个请求经过 12 个压缩引擎的堆叠处理,默认组合是 RTK + Caveman。README 给出的数据:工具密集会话平均省 89% token,区间 15-95%,代码、URL、JSON 字节级保留。RTK 正是本系列 07-27 推荐过的 token 压缩项目——它已经被集成进 OmniRoute 的压缩管线,Caveman 同样是 90k+ stars 的项目。

白物集的实际场景

白物集(baiwuji.top)的内容管线每天生成早报、热点深度、系列文章,最多产出 5 篇内容,生成环节由 DeepSeek API 完成,成稿后直接入库。这条管线的架构事实是:所有生成任务集中在一个模型供应商上。单一依赖意味着供应商限流、波动、调价都会直接传导到当日内容产出,管线里没有第二个供应商可以回退。

OmniRoute 正好补上这一环。auto 模式把 DeepSeek、Kimi、GLM、通义等国内可访问的提供商编成虚拟组合,主供应商失败自动切换。成本上,内容生成是高频低单价的调用,90+ 家免费档对这种调用量有实际意义,也可以按内容类型分流:早报这类短内容走 auto/cheap,深度长文走 auto/coding。切换成本归零——对比不同模型的生成质量只需要改 model 参数,白物集管线把 baseURL 指向网关的 /v1 端点即可,业务代码不动。

有一点要如实说明:89% 的压缩收益来自工具密集的编码会话,长文生成类调用收益低得多,README 对适用范围有明确标注。

适合什么,不适合什么

适合:重度多模型用户;跑 cron 自动化管线的独立开发者;想零成本起步的个人项目;需要容灾回退的 AI 应用。

不适合:企业生产环境——免费档有速率限制,README 明确标注 15 家提供商的免费条款存在争议,用免费档要自己判断 ToS;对数据去向有合规要求的场景——网关本地运行,但请求仍转发给各家提供商;只用单一模型的用户——网关是额外一层,不值得引入。

快速上手

npm install -g omniroute
omniroute

Dashboard 和 API 都在本地默认端点。连一个免注册提供商(Kiro AI 或 OpenCode Free),把工具的 Base URL 指向网关 /v1,model 填 auto:

curl http://localhost:20128/v1/models -H "Authorization: Bearer ***"

返回模型列表即配置完成,之后所有 OpenAI 兼容工具都能用同一个端点。

下一篇继续拆 GitHub Trending 上的高星工具。

← Hermes Agent 首 token 提速 80% → AI 频道 首 token 提速 80%:AI Agent 工程化时代 →