AI 工具路由器:额度不够就自动切
今天推荐一个更适合 AI Coding 重度用户折腾的开源项目:OmniRoute。它不是一个单独的大模型,也不是再做一个聊天窗口,而是一个本地 AI Gateway:你把 Claude Code、Codex CLI、Cursor、Cline、Copilot、Continue、OpenCode 这类工具接到同一个 OpenAI-compatible endpoint,再由 OmniRoute 负责路由、fallback 和 provider 管理。
它最吸引人的点是“一个入口”。基础用法很直接:npm install -g omniroute 安装,运行 omniroute 启动本地服务;Dashboard 默认在 http://localhost:20128,API endpoint 是 http://localhost:20128/v1。在支持 OpenAI-compatible API 的客户端里,把 Base URL 指到这个地址,模型可以先设为 auto。
对经常切换 AI 编程工具的人来说,这个思路很实用。以前你可能要在 Claude Code、Cursor、Cline、Codex CLI 里分别配置 key、模型、endpoint;额度不够或某个 provider 出问题时,还要手动切。OmniRoute 想做的是把这些操作集中到一个本地路由层里:客户端只管请求一个入口,后面由网关去处理 provider 选择和 fallback。
另一个卖点是 token compression。 RTK + Caveman compression,声称可以节省 15-95% tokens,并且每个请求可以透明经过压缩管线。这个功能对工具调用很多、上下文很长的 AI Coding session 可能很有吸引力,但我不会把它写成稳定保证。更稳妥的理解是:这是一个值得测试的成本优化能力,具体效果要用自己的项目和 prompt 来验证。
它也有明显边界。第一,这类网关会经过你的 prompt 和上下文,隐私敏感项目要特别谨慎。第二,免费 provider 的稳定性、速度、限制都不可能完全一致。第三,项目介绍营销感比较强,像“Never stop coding”“zero downtime”这类表达不能当成工程保证。第四,项目当前 open issues 不少,说明它还在快速演进,适合先尝鲜,不建议一上来放进关键生产链路。
#AI工具 #开源软件 #AI编程 #ClaudeCode #Codex #Cursor #LLMGateway #效率工具
夜雨聆风