废弃10万行代码,22行插件搞定多模态接活

10万行补丁代码说废就废。原帖作者 Andy 受够了天天给 LiteLLM 擦屁股，直接手搓了个全插件架构的 Rust AI 网关 Respan。

对咱们接活党来说，这玩意不是用来学 Rust 的，而是用来保命的。你接多模态外包，客户频繁换模型，底层接口一变业务代码全得重写。这网关把模型调用和业务逻辑彻底剥开，让你专注设计交付，不用半夜修 API 报错。

▎多模态外包的底层基建

我们接活经常要处理各种奇葩需求：客户今天要用 OpenAI 生图，明天要换 Gemini 做视频，后天还要接语音。以前得写一堆胶水代码。Respan 把 providers（OpenAI, Anthropic, Gemini）、protocols（MCP, voice）、modalities（images, videos）全做成插件。你接多模态外包，网关自动处理 tools、images 和 reasoning protocols。基于 OpenAI Realtime API 的应用可以直接通过网关用 Gemini Live，简单 chat app 也能直接用网关配置的 MCP tools，省去了大量重复造轮子的时间。

▎谁该用这个网关？

这工具适合谁？不适合纯小白。如果你只是调个文本 API 出出文案，直接用官方 SDK 就行。但如果你在做多模态批量处理流水线，比如批量给视频加配音、批量生图加修图，或者你要给客户交付一个需要同时调用多个模型且不能宕机的 Agent 系统，这个网关就是你的底层基建。它能把你的业务逻辑和模型调用彻底解耦，换模型就像换插头一样简单，极大降低多项目并行的维护成本。

▎10万行代码与22行插件的对比

原帖作者之前的痛点非常真实。他们基于 LiteLLM 构建服务，wrapper 代码堆到了10万行。今年1月一次常规升级直接导致间歇性连接错误，只能回滚，现在只能手动 backport 上游修复。对比之下，Respan 的 Mistral provider 只有22行代码。每个 quirk（比如 Groq 把 token 用量放在自己字段）都有独立测试。核心按注册顺序跑插件，如果客户端和提供商格式一样，原始字节直接透传，零损耗。当格式不同时，再通过共享类型进行翻译。

▎落地避坑与实操指南

第一，目前还是 pre-alpha 阶段，别直接上生产环境接大单，先拿本地小项目跑通。第二，它解析请求到共享结构时，会保留特定字段，但如果你自己写了插件去改 payload，透传就会失效，得自己处理格式转换。第三，本地部署不用花钱，你可以直接在本机跑，加上你的 provider keys，在支持的客户端里换 base URL 就行。但如果你想要原生可观测性、evals 和统一计费，得去买它的托管平台。

项目主页：
视频演示：
GitHub 仓库：
托管平台定价：

原帖作者踩过的坑，咱们得提前避开。他之前因为 LiteLLM 升级导致间歇性连接错误，只能回滚并手动 backport。这说明再火的开源网关，一旦核心代码耦合太重，升级就是灾难。Respan 搞极小核心和全插件，就是为了解决这个问题。但代价是，你需要自己写插件来处理那些非标准的 API quirks。好在 Mistral 的 provider 只要 22行，Groq 的 token 字段 quirks 也有独立测试。接活最怕的就是模型提供商暗改接口，有这套插件机制兜底，至少不用把整个项目重构一遍，直接改插件就能继续交稿。

点个赞再走？
你现在主力跑什么多模态模型？接外包时遇到过API突然翻车吗？

往期推荐

• ·1.5GB 存储的痛点，250MB 开源嵌入降六倍
• ·4000万张人脸对决单张自拍，AI算出5岁年龄差
• ·DeepSeek对决GPT-4，接活API成本直接降到闭源零头

点击公众号头像 → 历史消息，可翻阅以上文章