AI 实用工具系列 01 | 36.7k Star 的开源模型网关
做 AI 开发最烦什么?不是模型不够强,是每家接口都不一样。
OpenAI 一套格式,Claude 一套格式,Gemini 又是一套格式。用 Kimi 得配一套 SDK,用千帆得配一套 SDK,用百炼还得再配一套。代码里一堆 if-else,换个模型跟重构似的。
更要命的是——某家服务挂了,你的整个应用就跟着挂。没有备用方案,只能干等恢复。
今天介绍一个我用了大半年的工具:New API,一个开源的 AI 模型统一网关,36.7k Star,一条命令部署,让你在 Cursor、Cherry Studio 等所有 AI 工具里秒切模型。
01. 痛点:为什么需要统一网关
先说我自己遇到的真实场景。
我日常用 Cursor 写代码,AI 工具的消费主要在 Coding Plan 上。先后用过 MiniMax、Kimi、百度千帆、阿里百炼——不是喜新厌旧,是真的需要灵活切换:
• MiniMax 某次服务波动,响应超时,代码写一半卡住
• Kimi 的长上下文很香,但偶尔额度用尽
• 千帆 的文心系列性价比高,但接口格式和 OpenAI 不兼容
• 百炼 的通义模型强,但又要单独对接
每次换模型,都要去 Cursor 设置里改 Base URL、改 API Key、改模型名称——三件套缺一不可。效率极低,还容易配错。
更别提还有这些常见问题:
• 某家 API 挂了,没有自动故障转移
• 多人共享一个 Key,无法做用量统计和限流
• 不同模型格式不兼容,代码里一堆适配逻辑
核心矛盾:AI 模型越来越多,但接入和管理的体验越来越碎片化。
02. 方案:New API 是什么
New API 是一个开源的大模型网关与 AI 资产管理系统,GitHub 上 36.7k Star、8.3k Fork,基于 AGPLv3 协议开源。
一句话解释它的核心价值:
把所有 AI 模型统一成一个 OpenAI 兼容接口,下游工具只需对接一次,上游模型随便换。
它做了这几件事:
• 统一格式:无论上游是 OpenAI、Claude、Gemini 还是国产模型,对外都是 OpenAI 兼容格式
• 格式互转:OpenAI ⇄ Claude Messages、OpenAI → Gemini 等双向转换
• 智能路由:渠道加权随机、失败自动重试,某家挂了无缝切到下一家
• 用量管理:Token 分组、模型限流、按次按量计费、数据看板
• 多接口支持:Chat、Image、Audio、Embedding、Rerank、Realtime API 全覆盖
03. 实战:5 分钟部署 + 配置
部署非常简单,Docker 一行命令搞定:
docker run --name new-api -d --restart always \ -p 3000:3000 \ -e TZ=Asia/Shanghai \ -v ./data:/data \ calciumion/new-api:latest
访问 http://localhost:3000,默认管理员账号 root,密码 123456(记得改)。
接下来三步完成核心配置:
第一步:添加渠道
进入「渠道管理」→「添加渠道」,选择类型(OpenAI、Claude、千帆、百炼等),填入 API Key 和 Base URL。我把 MiniMax、Kimi、千帆、百炼各加了一个渠道。
第二步:创建令牌
进入「令牌管理」→「创建令牌」,生成一个统一 Key。这个 Key 就是下游工具要用的唯一凭证。
第三步:配置下游工具
以 Cursor 为例,在设置中把 Base URL 改为你的 New API 地址(如 http://localhost:3000/v1),API Key 填刚才生成的统一 Key,模型名选你在 New API 中配置的。
完成!之后在 Cursor 里用 /model 命令就能秒切模型了。
04. 亮点:我为什么离不开它
用了大半年,这几个功能是真正让我离不开的:
🔧 自动故障转移
配置了多个渠道后,如果主渠道请求失败,New API 会自动重试下一个渠道。再也不用半夜被报警叫起来手动切模型了。
📊 用量看板
控制台可视化展示每个模型、每个 Token 的调用量、Token 消耗、费用统计。之前用各家 API 都是「盲盒消费」,现在一目了然。
⚖️ 渠道加权
可以给不同渠道设置权重,比如千帆配 50%,Kimi 配 30%,百炼配 20%,实现负载均衡。也可以按模型优先级配置,主力模型挂了自动降级。
🔒 Token 权限控制
给团队成员分配不同的 Token,限制可调用的模型和额度。防止有人拿 GPT-4 狂刷 Token 把额度烧光。
🔄 格式转换
Claude Messages 格式自动转 OpenAI 格式,Gemini 格式也能转。这意味着你写一套代码,就能调所有模型。
🧠 推理力度控制
直接通过模型名后缀控制推理力度:o3-mini-high、o3-mini-low,或者 claude-3-7-sonnet-thinking。不用改代码,换模型名就行。
05. 架构:技术人该知道的
对技术细节感兴趣的,这里简要介绍下架构:
• 语言:Go 后端 + React 前端,性能稳定
• 数据库:默认 SQLite(零配置开箱即用),也支持 MySQL / PostgreSQL
• 缓存:支持 Redis(多机部署推荐)和内存缓存
• 部署:Docker / Docker Compose / 宝塔面板一键安装
• 兼容性:完全兼容原版 One API 数据库,老用户可无缝迁移
• 协议:AGPLv3 开源,修改版须保留署名和项目链接
支持的上游渠道类型覆盖了你能想到的几乎所有主流服务商:OpenAI、Azure OpenAI、Anthropic Claude、Google Gemini、百度千帆、阿里百炼、DeepSeek、Moonshot(Kimi)、MiniMax 等 40+ 种。
接口层面,除了基础的 Chat Completions,还支持 Realtime API(实时语音)、Responses API、图像生成、语音合成/识别、Embedding、Rerank,甚至 Midjourney 和 Suno 的代理接入。
06. 适合谁用
说几个典型使用场景:
个人开发者:买了一堆 API Key,想统一管理、按需切换。Docker 一行部署,SQLite 零配置,5 分钟搞定。
小团队:多人共用 AI 服务,需要额度分配、用量统计、权限控制。Token 分组 + 限流完美解决。
AI 应用开发者:应用需要同时对接多个模型,做 A/B 测试或故障转移。New API 的智能路由 + 格式转换让你只写一套代码。
Cursor / Cherry Studio 用户:像我一样在不同 Coding Plan 间切换。配置一次,/model 秒切。
写在最后 AI 模型百花齐放,但接入体验不该碎片化。 New API 解决的核心问题很简单:一个入口,所有模型。不用为每家单独适配,不用担心某家挂了全军覆没,不用手动改配置切模型。 如果你也在用多个 AI 服务,试试 New API。5 分钟部署,省下的时间够写一个 Feature。AI 工具千千万,统一网关第一站。
📎 项目信息 • GitHub:github.com/QuantumNous/new-api • 文档:docs.newapi.pro/zh • Star:36.7k | Fork:8.3k • 协议:AGPLv3 • 部署:Docker 一行命令
— END —
AI 实用工具系列持续更新中,敬请关注
关注我们硬核技术 · AI 行业观察 · 项目复盘
关于作者 硅基原住民,专注硬核技术与 AI 行业观察。相信技术深度是最好的护城河。
夜雨聆风