凌晨两点,你正用 Claude Code 追一个生产环境的诡异 bug。上下文刚理顺,思路正通畅,突然屏幕上弹出一行冷冰冰的提示:rate limit exceeded。
等五个小时?还是切到 Cursor?可 Cursor 的配额上周也见底了。Codex 倒是还有余量,但重新配置环境变量、重建上下文,又得折腾半小时。
这种场景,几乎每个重度使用 AI 编码工具的开发者都经历过。Claude Code Max 每月 200 美元,Codex Pro 每月 200 美元,Cursor Pro 每月 20 美元,但限额紧得要命——你以为花了钱就能畅快写代码,结果发现自己在给限额打工。
然后,6 月 28 日,X 上出现了一条帖子,让这群被限额折磨的开发者集体沸腾了。
一条帖子,283 赞,21000 次浏览
X 用户 @VaibhavSisinty 发了一条帖:
"I just found a tool that cuts your AI token costs by 95% and gives you 1.6 billion free tokens a month. It is the most trending on GitHub right now. It is called OmniRoute."
「我刚发现一个工具,能把 AI token 成本砍掉 95%,每月给你 16 亿免费 token。它现在是 GitHub 上最火的项目,叫 OmniRoute。」



▲ @VaibhavSisinty 的帖子迅速获得 283 赞、411 收藏、2.2 万次浏览
95% 成本削减。16 亿免费 token。一个 URL 同时接入 Claude Code、Codex、Cursor、Cline、Copilot。
这组数字太刺激了。帖子下面的评论区涌入了大量开发者——有人立刻跑去装,有人追问技术细节,也有人表示怀疑。随后 @RoundtableSpace 转发了类似内容,再拿 148 赞、1.7 万浏览。Reddit 的 r/ArtificialIntelligence 版块也出现了详细的技术帖。
24 小时之内,OmniRoute 从一个默默无闻的开源项目变成了开发者圈子里最热的话题。
OmniRoute 到底是什么?
本质上,它是一个跑在你本地的 AI 网关,把所有 AI 提供商统一到一个端口上。
你的 Claude Code、Cursor、Codex、Cline、Copilot——这些工具原本各自连各自的后端,互不相通。OmniRoute 在中间插了一层代理:所有工具都指向localhost:20128,由 OmniRoute 来决定把请求发给谁。

▲ OmniRoute 官网:231 providers、50+ 免费层、15-95% token 节省
官方给出的核心能力清单:
- 231 个 AI 提供商
,其中 50 多个有免费层,11 个永久免费 - 一个端点
: http://localhost:20128/v1,兼容 OpenAI / Claude / Gemini 三套 API 格式 - 16+ 编码工具
无缝接入 - 自动回退
:一个提供商的配额用完,毫秒级切到下一个,你完全感觉不到 - Prompt 压缩
:在请求到达模型之前,剥离冗余内容,同样的回答,token 用量最多省 95%
官网标语写着:"Never Stop Coding."永远别停下来。
压缩引擎:这才是真正的杀手锏
自动回退听起来还比较常规——LiteLLM、OpenRouter 也能做类似的事。OmniRoute 真正让人眼前一亮的是它的压缩引擎。
官方称之为「9 引擎管线」,在 prompt 和 tool output 送到模型之前做多层处理。举个例子:
原始 prompt(69 tokens):
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
压缩后(19 tokens):
sum all list items where value > 0
语义完全保留,token 数砍掉了 72%。
这 9 个引擎各有分工:
- Session-Dedup
:跨轮次去重,避免重复发送已知上下文 - RTK
:智能过滤 tool 返回结果中的无用信息 - Caveman
:基于规则的散文压缩,单独就能达到 75% 的压缩率 - LLMLingua-2
:机器学习语义剪枝,对代码安全 - Headroom
:JSON 和表格的专项压缩 - CCR
:大段内容归档检索
用户反馈中被提到最多的数字是:tool-heavy 会话场景下,平均压缩率约 89%。
这意味着什么?你原本用 100 万 token 才能完成的编码任务,现在可能只需要 11 万。那 16 亿的免费 token 池,经过压缩后的实际购买力,远不止账面数字。
三步安装,五分钟上手
技术再炫酷,如果安装像配 Kubernetes 集群一样复杂,开发者也懒得碰。OmniRoute 在这点上做得很聪明——三步就能跑起来。



▲ @VaibhavSisinty 发布的三步安装指南,附 Dashboard 截图
第一步:安装
npm install -g omniroute omniroute Dashboard 自动打开在localhost:20128。
第二步:连接免费提供商
Dashboard → Providers → 点击连接 Kiro AI 或 OpenCode Free。不需要信用卡,不需要注册。
第三步:把编码工具指向 OmniRoute
以 Claude Code 为例,编辑~/.claude/settings.json:
{ "env": { "ANTHROPIC_BASE_URL": "http://localhost:20128", "ANTHROPIC_AUTH_TOKEN": "你的 omniroute api key" } } Cursor 用户设置 OpenAI API Base URL,Codex 用户设一个环境变量——都是改一行配置的事。
设好之后,把 Model 填auto,剩下的全交给 OmniRoute。它会根据当前提供商的健康度、配额余量、成本、延迟等 9 个维度,自动选择最优路径。配额耗尽?8 毫秒切换到下一家。提供商宕机?circuit breaker 瞬间隔离,连个报错都不会弹。
这套 dashboard 还能实时显示你本月用了多少免费 token、还剩多少,一目了然。
开发者社区:又兴奋,又警惕
Reddit 的 r/ArtificialIntelligence 版块上出现了一个详细的技术帖,标题就写明了关键词:开源 AI 网关、池化所有账户、11 个永久免费提供商、一个端点搞定一切。

▲ Reddit 上的深度讨论帖,57 万周访客的 AI 社区给出了详细技术拆解
帖子里列出了一个让人心动的表格:开发者每天面对的 6 大痛点——配额墙、提供商孤岛、浪费的订阅费、多账户无法协调、地区封锁、API 格式混乱——OmniRoute 声称全部解决。
兴奋的声音很多:
"Cursor bill was starting to scare me, setting this up tonight" 「Cursor 的账单开始吓到我了,今晚就装。」—— @nickventuri
"compression angle is actually wild" 「压缩这个方向确实很猛。」—— @SlopToSignal
"Free tiers stacked? That's the dream." 「免费层叠加?这就是梦想。」—— @kozei
但质疑也紧跟着来了:
"tools claiming 95% reduction... usually one edge case away from quietly breaking" 「号称 95% 压缩的工具……通常离默默出 bug 只差一个边界条件。」—— @trifon_getsov
"one URL works until your prompts hit a model they weren't tuned for" 「一个 URL 能用,直到你的 prompt 碰上了一个它没适配过的模型。」—— @bygregorr
还有中文开发者直接问:「231 家提供商听起来有点离谱了,维护量不小吧?」
这些担忧指向了几个真实的技术风险:压缩在复杂代码场景下会不会丢失关键信息?模型切换导致的行为漂移怎么处理?像 Kiro 这样的提供商,ToS 里可能明确禁止第三方代理使用。
npm 上的真实数据
说到底,一个开源项目火不火,数字会说话。

▲ npm 上的 OmniRoute:版本 3.8.39,每周 9053 次下载,278 个版本迭代
npm 上的数据很扎实:版本 3.8.39,已经发布了278 个版本,每周9053 次下载,MIT 开源协议。最近一次发布就在 19 小时前——这说明项目在高频迭代中。
同时第三方博客也开始跟进。AgentConn 在 6 月 28 日发布了一篇《Free-Model Playbook for Claude Code and Codex》,开篇就点明了核心矛盾:

▲ AgentConn 博客:「200 美元/月的问题」——对学生、独立开发者和发展中国家的程序员来说,高额订阅是一堵墙
博客写道:Claude Code Max 每月 200 美元,Codex Pro 每月 200 美元。对于职业开发者来说,这是合理的数字。但对学生、独立开发者、深夜赶副业的创业者,或者身处 200 美元等于一个月房租的地区的程序员——这就是一堵无法逾越的高墙。
OmniRoute 和 OpenRouter 这类网关工具的出现,本质上是在撕开这堵墙的裂缝。
对比同类:为什么偏偏是 OmniRoute 火了?
市面上做 AI 路由的工具不止一个。LiteLLM 是老牌 Python 方案,OpenRouter 是云端聚合器,9router 也有类似定位。但 OmniRoute 在几个维度上拉开了差距:
| 231 | |||
| 17 种 | |||
| RTK+Caveman 15-95% | |||
| 87 个工具 | |||
| 3 层 |
更关键的是——它跑在本地。你的 prompt 和代码不经过任何第三方云服务器,零遥测(zero telemetry),数据完全在自己手里。对于在乎代码安全的团队来说,这一点比省钱更有吸引力。
这顿免费午餐能吃多久?
冷静下来,几个问题绕不开。
压缩保真度。15% 到 95% 的区间太大了。Standard 模式下也许没问题,但 Ultra 模式对复杂的多文件重构任务,有多大概率在某个拐角丢失关键语义?官方建议先用 Standard,关键会话关闭压缩或做 A/B 对比——这本身就说明他们清楚这个风险。
质量漂移。当你的请求从 Claude Opus 自动回退到某个免费模型时,system prompt 的行为可能完全不同。你写了半小时的代码上下文,换了个模型可能就跑偏了。
ToS 灰色地带。Kiro 的服务条款里很可能禁止通过第三方 harness 调用。用免费层没什么成本,但如果被封号,损失的是积累的使用记录和工作流。
可持续性。免费提供商的慷慨不会永远持续。当 NVIDIA、Cerebras、Pollinations 收紧免费额度的那天,16 亿这个数字会大幅缩水。
但这些隐忧丝毫没有减缓开发者的热情。道理很简单:对于 80% 的日常编码任务——补全、单文件编辑、测试生成、boilerplate——根本用不到前沿模型。一个"够好"的免费模型,加上一套靠谱的压缩和回退机制,已经足够覆盖绝大多数场景。把贵的配额留给真正需要深度推理的 20% 任务,这才是聪明的用法。
OmniRoute 的 Combos 功能就是这个思路的产物:第一优先用你的 Claude 订阅(别浪费),耗尽后自动滑落到 GPT,再到 GLM,最后兜底免费的 Kiro——四层 fallback,零中断。
一个更大的信号
往后退一步看,OmniRoute 的爆火指向了一个更深层的趋势:AI 编码工具正在像十年前的包管理器一样,催生出自己的基础设施层。
就像 npm 之于 Node.js,pip 之于 Python——当编码工具变多、API 格式分裂、成本居高不下的时候,市场自然会长出一个统一的路由和管理层。OmniRoute 恰好站在了这个位置上。
至于它最终能走多远,取决于压缩引擎的可靠性、231 个提供商的长期维护能力,以及整个免费 AI 生态的走向。
但至少今天,在那些凌晨两点被 rate limit 踢出工作流的开发者眼里,OmniRoute 给出了一个足够有吸引力的答案:
装上它,把所有工具指向一个 URL,然后继续写代码。
夜雨聆风