夜雨聆风我最近就卡在这儿。然后今早刷 GitHub 趋势榜,第一名是个开源工具,我盯着它的介绍看了半天,心里一动:
这玩意儿,好像正好治我这个病——一个地址接住两百多个模型,自动挑最划算的那个跑,还能把 token 压掉一大截。同样的活,账单能差一截。
今天不吹它有多神,我把它拆给同龄人看:它到底解决什么、哪些是坑、要试的话怎么最小起步。
一、先说我为什么会盯上它(真实的痛)
我天天用 Claude Code 和 Codex 干活。最痛的从来不是"不会用",是——烧得快。 中午就见底那种。
过去我的笨办法,是手动在几个模型之间来回切:贵的用来做判断,便宜的拿去跑体力活。道理我懂,可又累又容易忘,一忙起来就全用贵的怼,月底一看账单肉疼。
所以当我看到这个开源网关,它宣称能把"该用哪个模型"这件事自动化——我第一时间就把它记下来了。因为它对着的,正是我这个"手动切模型切到烦"的痛点。
这就是我说的"边用边学":不是追新,是自己哪儿疼,就盯着能治那个疼的工具。
二、它到底是什么?硬事实照抄,不加码
我把它的介绍捋了一遍,只留能核实的硬事实(拿不准的我不写):
- 是什么:一个开源、免费、本地跑的 AI 网关。给你一个"OpenAI 兼容"的地址,背后接住一大堆模型厂商。
- 接多少:271 个模型厂商,其中 90 多家有免费额度、40 多家永久免费。
- 省多少:内置压缩,按场景能省 15% 到 95% 的 token;还有 18 种智能路由,自动挑、失败自动切、出错自动重试。
- 怎么接你的活:直接对接 Claude Code / Cursor / Codex——就是你天天在用的那几个。
- 安不安全:本地跑、用你自己的 API key、零遥测、不外传,密钥加密存在你自己电脑上。
- 有多火:GitHub 约 2.3 万 stars,今天趋势榜日增 一千九百多。
数字就这些,我一个没加。
三、一句话说清它干嘛:它当"总机",你只拨一个号
别被"271 个厂商"吓到,它的逻辑特别简单:
过去 —— 你要用哪个模型,就得为它单独配一次、记一个 key、改一处地址。用三个模型,配三套,烦。
现在 —— 你只连它这一个地址,剩下的它替你分:
- 一个入口接一堆模型——不用再为每个模型改配置、记不同的 key。
- 自动挑最划算的——你设条规则(省钱优先 / 够快 / 够稳),它就照着自动选,还能失败了自动切到备胎。
- 顺手压 token——同样一段话,它压完再发,最多能省到九成。烧得慢,额度就活得久。
- 本地跑、不外传——用你自己的 key,密钥加密存本地,零遥测。一人公司最怕数据裸奔,这条正好踩中。
一句话:它当总机,你只拨一个号。
四、三个坑,我替你先想明白了
我没急着全套上,先把三个想当然的坑标出来:
坑一:以为"接得越多越好"。
271 个厂商,不是让你都用。是让你永远有便宜的备胎。真起步,先接你现在用的那 2-3 个就够了。贪多,反而配到晕。
坑二:以为要会写代码才能装。
它对接的,是你已经在用的 Claude Code / Cursor / Codex。改的是"连到哪"这一处,不是让你重学一套。这跟我之前讲的"工具换底层"是一回事——你换的是接口,不是手艺。
坑三:把"省额度"理解成"少干活"。
反了。省额度,是为了敢多干。 同样的预算,token 省一半,你就能多跑一倍的轮次。省下来的不是钱,是"敢放开用"的底气。
五、要试的话,最小起步三步(我准备这么走)
说清楚:我还没全量铺开,这是我给自己定的、也推荐给同龄人的最小试法——不赌大的,先拿账单说话。
第一步:别全套上,只挑你最烧钱的那一个工具。 比如 Claude Code。把它的请求,指到这个网关。
第二步:只接你已有 key 的 2-3 个模型 + 1 个免费备胎。 设一条最简单的规则:优先便宜的,失败了切备胎。
第三步:跑一天,对比昨天的账单。 别信宣传的"省 95%",信你自己这一天的真实数字。账面说话,再决定要不要扩。
铁律收口:
省额度不是抠,是把每一块钱花在判断上,把体力活甩给便宜模型。
六、收个尾
工具天天出新,大多数跟你没关系。但"怎么让同样的钱多干点活"这件事,越早会,越省。
这个网关我还在评估,值不值得铺开,得等我那一天的真实账单出来——出来了我再回来跟你说实话。但方法本身,今天就能给你:别再舍不得用了,先看看是不是入口没选对。
最后问你一句:
你现在,是"舍不得用 AI"的那种省,还是"用对入口、敢放开用"的那种省?