夜雨聆风
AI中间件正在消失,大模型开始吞噬工具链
上周，我们团队内部开了一次产品复盘会。
讨论到一半，技术负责人说了一句让所有人沉默的话：”我们花三个月搭的那套RAG pipeline，现在用Claude直接丢整个文档进去，效果比我们好。”
会议室安静了大概五秒钟。不是因为震惊，而是因为每个人都隐约感觉到了这件事，只是没人先说出来。
我在AI创业公司做产品运营，过去两年最大的体感是：我们曾经以为是”产品”的东西，正在变成大模型的一个feature。 而且这个过程不是缓慢发生的，是一夜之间。
这篇文章，我想认真聊一个很多从业者心里有数但不太愿意公开讨论的话题——AI中间件层正在系统性地消失，大模型正在把整条工具链一口一口吃掉。
不是危言耸听。看完你自己判断。
一、先定义清楚：什么是”AI中间件”
在聊趋势之前，得先把概念对齐。
所谓AI中间件，指的是夹在大模型和终端用户之间的那一层技术或产品。它们的存在逻辑是：大模型虽然强，但不能直接解决用户的具体问题，需要一个”翻译层”或”编排层”来把模型能力变成可用的产品。
过去两年，这个中间层长出了一个庞大的生态：
• 编排框架：LangChain、LlamaIndex、Semantic Kernel——帮你把模型调用、记忆管理、工具调用串成workflow
• RAG工具链：向量数据库（Pinecone、Weaviate、Chroma）、文档解析器、chunking策略、embedding模型——帮你实现”让AI读懂你的私有数据”
• Prompt工程工具：PromptLayer、Helicone、各种prompt模板市场——帮你管理和优化prompt
• AI应用构建平台：Dify、Coze、Flowise——帮你不写代码搭AI应用
• AI coding辅助：Cursor、Windsurf、Continue——在IDE里包一层模型能力
• AI搜索/浏览：各种AI搜索引擎、网页摘要插件——帮你把搜索结果喂给模型
2023年到2024年，这些中间件是创投圈最火的赛道。YC有一半的AI项目在做这类东西。a16z的AI投资组合里，中间件占了三分之一以上。
但2025年下半年开始，风向变了。
不是渐变，是突变。
二、编排层的溃败：LangChain们遇到了什么
先说最典型的案例。
LangChain，2023年AI领域最炙手可热的开源项目，GitHub star从0到7万只用了几个月。它的核心价值主张很简单：大模型API太原始了，你需要一个框架来编排链式调用、管理记忆、接入工具。
这个逻辑在2023年是成立的。那时候GPT-3.5连function calling都不支持，你要让模型查数据库、调API，得自己写一堆胶水代码。LangChain把这些胶水标准化了，省了大量工作。
但2025年发生了什么？
Claude推出了extended thinking和tool use的原生支持。GPT-4o系列把function calling做到了近乎完美。Google的Gemini 2.0直接内置了代码执行、搜索、文件分析。
更关键的是——Anthropic发布了Claude Agent SDK，OpenAI发布了Agents SDK，Google发布了ADK。
这意味着什么？模型厂商自己下场做编排了。
以前你需要LangChain来”chain”多个模型调用，现在Claude自己就能在一次对话里完成：思考→拆解任务→调用工具→检查结果→修正→输出。不需要你在外面写一个循环来编排它。
我前段时间做了个对比测试。同一个任务：分析一份PDF财报，提取关键指标，跟去年对比，生成摘要。
用LangChain搭的pipeline：4个chain串联，配了document loader、text splitter、retriever、summarizer，代码大概200行。跑一次要40多秒，偶尔chain中间会断，需要错误处理。
用Claude 3.5直接丢文档进去，一句prompt：”分析这份财报，提取关键财务指标，跟去年数据对比，给我一份摘要。”
12秒出结果。质量更好。代码：0行。
200行代码 vs 0行代码，40秒 vs 12秒，还更准。
你说这个中间层存在的意义是什么？
LangChain团队显然也感受到了这个压力。2025年他们战略转向，推了LangGraph主打更复杂的agent编排，又推了LangSmith做可观测性。
但问题是——Anthropic的Agent SDK自带了multi-agent编排能力，OpenAI的Agents SDK也有handoff机制。模型厂商自己把编排做了，你在外面再包一层，价值在哪？
说句可能有点残酷的话：当模型足够聪明的时候，编排框架就是多余的。
就像你不需要一个框架来”编排”一个聪明的员工怎么干活。你给他任务，他自己知道先做什么后做什么。LangChain的chain-of-chains逻辑，本质上是在补偿模型不够聪明的问题。模型变聪明了，补偿就没意义了。
我跟几个还在用LangChain的团队聊过。普遍反馈是：“我们不是因为它好用才用，是因为历史包袱太重不好迁移。”
这种状态，做过产品的人都知道意味着什么——用户留存靠的是迁移成本，而不是产品价值。这是最危险的信号。
三、RAG正在被长上下文”温水煮”死
RAG（Retrieval-Augmented Generation），检索增强生成。过去两年AI应用领域最核心的技术范式，没有之一。
逻辑也很清楚：模型有上下文长度限制（早期GPT-3.5只有4K token），你的私有数据又很多，怎么办？先把数据切块（chunking），转成向量存进向量数据库，用户提问时先检索最相关的片段，再喂给模型生成回答。
这套pipeline催生了一个巨大的产业：
• Pinecone融资1亿美金，估值7.5亿
• Weaviate融了超过6000万
• Chroma、Qdrant、Milvus各有各的拥趸
• 做chunking策略的、做embedding优化的、做reranking的，每个环节都有创业公司
然后，上下文窗口开始指数级增长。
2023年初，GPT-3.5的上下文是4K token。
2023年底，Claude 2.1做到了200K。
2024年，Gemini 1.5 Pro直接上了100万token。
2025年，Claude 3.5达到200K，Gemini做到了200万。
2026年初，Claude Opus 4.6直接开放了100万token上下文。
100万token是什么概念？大约是75万个英文单词，或者说——你可以把一整本《哈利波特》七部曲全部塞进一次对话里，还有余量。
或者更实际地说：你公司90%的内部文档、知识库、FAQ，大概率全部塞得进去。
当所有文档都能直接塞进上下文的时候，你还需要RAG吗？
我做了个实验。
我们有一个内部知识库，大约50万字的产品文档、会议纪要、技术方案。之前用的是标准RAG方案：文档切块→embedding→存Pinecone→检索→回答。准确率大概在75%左右，最头疼的问题是跨文档推理——答案分散在三四个文档里的问题，检索经常漏掉关键片段。
后来我们试了一下把所有文档直接喂给Claude（100万上下文版本）。
准确率直接上了90%以上。最明显的提升就在跨文档推理——因为模型能”看到”所有信息，不存在检索遗漏的问题。
一个不需要向量数据库、不需要chunking策略、不需要embedding模型、不需要reranking的方案，效果比精心调优的RAG pipeline还好。
你知道这对那些做RAG工具链的公司意味着什么吗？
当然，我不是说RAG完全没用了。有几个场景RAG还是必要的：
数据量确实超大——几千万条记录、TB级的文档库，塞不进上下文
实时性要求高——数据每分钟都在更新，需要实时检索
成本敏感——100万token的API调用确实比检索几个片段贵得多
合规要求——某些场景需要明确引用来源，RAG的检索链路更可审计
但实话说，80%的企业RAG应用场景，数据量都在100万token以内。 这些场景，长上下文直接替代了。
更要命的是趋势——上下文窗口还在增长，而且成本在快速下降。2023年100K token要几十美元，现在100万token只要几美元。按这个趋势，再过一年，”把所有数据丢进去”会成为大多数场景的默认选择。
向量数据库不会消失，但它们会从”AI应用必备基础设施”变成”特定场景的专用工具”。Pinecone的7.5亿估值，很可能撑不住。
一个刺耳的类比：RAG之于长上下文，就像拨号上网之于宽带。拨号上网时代你需要各种压缩工具、离线下载器、网页精简插件。宽带普及之后，这些东西去哪了？
没有人怀念56K modem。
四、AI Coding工具的”寄生困局”
这可能是整篇文章最有争议的部分，但我还是要说。
Cursor，2024-2025年最成功的AI产品之一。ARR过亿美金的速度可能打破了SaaS历史记录。它做的事情本质上是：在VS Code的基础上包了一层AI能力——代码补全、对话式编程、Composer多文件编辑。
它为什么成功？因为它找到了一个完美的”中间件位置”：开发者已经在用VS Code → 在VS Code里加AI能力 → 开发者不用换工具就能用上AI。体验极其丝滑。
但这个位置有一个致命问题：它的核心价值完全依赖于它包的那个模型。
Cursor最好用的时候，是它接入Claude 3.5 Sonnet的时候。用户付费不是为了Cursor的UI，不是为了它的tab补全算法，而是为了Claude写代码写得好。
换句话说：用户以为自己在为Cursor付费，其实是在为Claude付费。Cursor只是一个收费窗口。
然后，2025年Anthropic发布了Claude Code。
Claude Code不是一个IDE插件，而是一个命令行Agent。它直接在你的终端里运行，能读写文件、执行命令、运行测试、提交代码。不需要IDE，不需要UI包装。
一开始很多人不理解：一个命令行工具怎么跟有图形界面的Cursor竞争？
用了之后就理解了。
Claude Code的逻辑是：既然模型已经足够聪明，能理解代码库、能做规划、能自己执行，为什么还需要一个人类来”编排”它的行为？ 你不需要在IDE里一个文件一个文件地Accept Changes，你直接告诉它你要什么，让它自己搞定。
这是两种完全不同的人机交互范式：
• Cursor模式：人类是驾驶员，AI是副驾驶。人类决定改哪个文件、怎么改，AI辅助执行。
• Claude Code模式：人类是乘客，AI是司机。人类说目的地，AI决定路线、油门刹车。
当模型能力弱的时候，副驾驶模式更可靠——你不放心让一个新手独自开车。但当模型能力强到一定程度，副驾驶模式反而是效率瓶颈——因为最慢的环节变成了人类review和点击Accept。
2025年下半年开始，我观察到身边越来越多的高级工程师从Cursor切到了Claude Code或类似的Agent模式。原因很一致：”我不想当AI的鼠标了。”
OpenAI也看到了这个趋势，推出了Codex——同样是Agent模式，直接在沙盒里自主完成编码任务。
Google的Jules、Amazon的CodeWhisperer Agent，全部走向同一个方向。
行业共识正在形成：AI coding的终态不是”更好的代码补全”，而是”自主完成编程任务的Agent”。
这对Cursor们意味着什么？
Cursor当然不会立刻死掉。它还有庞大的用户基础、成熟的产品体验、以及很多中级开发者确实还需要”副驾驶”模式。但它面临一个结构性困境：
上游模型在做它的事——Claude Code、Codex都是模型厂商自己做的coding agent
下游IDE在追赶——VS Code的GitHub Copilot在加速集成agent能力，JetBrains在做自己的AI
核心壁垒薄——Cursor的技术壁垒主要是上下文管理和索引优化，但随着模型上下文变长、模型自己能读文件系统，这个壁垒也在消解
这就是”寄生困局”——你建立在别人的能力之上，而这个”别人”随时可以把你的功能内化。
不只是Cursor。所有”在模型上面包一层”的AI产品都面临同样的问题。
翻译工具？Claude和GPT直接就能翻译，质量不比专门的AI翻译工具差。
AI写作助手？模型原生写作能力已经足够好。
AI搜索？Perplexity做得好，但ChatGPT直接加了搜索，Claude也加了搜索。
一个规律越来越明显：任何一个AI中间件做到product-market fit的功能，模型厂商会在6-18个月内将其内化为原生能力。
这不是猜测。回看历史：
• 2023年，第三方做了很多”ChatGPT + 搜索”的工具 → 2024年ChatGPT内置搜索
• 2023年，第三方做了function calling框架 → 2024年所有模型原生支持
• 2024年，第三方做了AI coding IDE → 2025年模型厂商推出coding agent
• 2024年，第三方做了multi-agent框架 → 2025年模型厂商推出agent SDK
• 2024年，第三方做了AI图片生成的各种控制工具 → 2025年模型原生支持图片生成和编辑
每一次，时间窗口都在缩短。
五、为什么大模型一定会吞噬中间件？
有人可能会说：这只是暂时的，中间件会找到新的价值。
我觉得不会。或者说，大部分不会。 原因有三个结构性的：
第一，模型厂商有最强的动机和能力来做这件事。
想想看，Anthropic每年在模型训练上花几十亿美元，他们最怕什么？最怕用户觉得”模型都差不多，差别在应用层”。如果这种认知形成了，模型就会变成commodity，利润全被中间件赚走。
所以模型厂商一定会不断把中间件的功能内化，让用户感知到”不是应用做得好，是模型做得好”。这是商业逻辑的必然。
就像云计算的发展历程——AWS最初只提供虚拟机和存储，然后慢慢把监控、部署、数据库、消息队列、CDN全部做了。中间件厂商一个接一个被碾压。
AI领域正在重演这个过程，只是速度快了10倍。
第二，模型原生集成的体验永远优于外部包装。
这是一个简单但深刻的事实。
当搜索是模型原生能力时，模型知道什么时候该搜索、搜索什么关键词、怎么整合搜索结果。它是一个连贯的思考过程。
当搜索是外部工具调用时，你需要写规则告诉模型”当用户问到最新信息时触发搜索”。这个规则永远不可能覆盖所有情况，永远有edge case。
代码执行也一样。模型原生支持代码执行时，它可以在思考过程中随时写一段代码验证自己的推理。这是一种自然的”思考-验证”循环。但如果代码执行是外部工具，每次调用都有延迟，模型可能选择”猜”而不是”验证”。
原生集成=无缝体验。外部包装=有缝的体验。缝隙里就是中间件的生存空间，但这个空间在不断被缝合。
第三，长期来看，端到端学习会消灭流水线。
这是最底层的逻辑。
过去之所以需要pipeline（文档解析→chunking→embedding→检索→生成），是因为每个环节都需要不同的模型或算法，它们各自优化各自的目标。
但当一个足够大的模型能够端到端地处理整个流程时，pipeline的每个环节都是一种信息损失。chunking切碎了文档的全局结构，embedding压缩损失了语义细节，检索可能遗漏关键片段。
端到端 > 流水线。这在深度学习的历史上已经被反复证明了。 从图像识别（手工特征→CNN端到端）到语音识别（声学模型+语言模型→端到端）到机器翻译（统计→端到端），每一次端到端方案出现，流水线方案就被淘汰。
AI中间件本质上就是一条流水线。大模型端到端处理的能力越强，流水线存在的理由就越弱。
六、什么样的”中间件”能活下来？
说了这么多”中间件会死”，也得说说什么能活。因为答案不是”所有中间层都会消失”，而是”只有特定类型的中间层能活”。
根据我的观察，有三类能活：
1. 有独占数据壁垒的
模型再强，也不能凭空生成你没见过的数据。
Bloomberg用自己的金融数据训练了BloombergGPT（虽然后来没那么成功），但逻辑是对的——如果你有独家的、高质量的、持续更新的专有数据，你就有模型厂商拿不走的壁垒。
比如法律领域的Casetext（被Thomson Reuters收购），它的价值不在AI能力，而在于它积累的数亿份法律文档和标注数据。
再比如医疗领域的各种AI公司，它们的壁垒是合规审批、临床数据、医院合作关系——这些不是一个更大的模型就能替代的。
关键区分：如果你的数据是从公开互联网抓的，那不是壁垒。模型厂商的训练数据比你多得多。只有私有的、合规获取的、需要行业关系才能拿到的数据，才是真壁垒。
2. 有硬件/物理世界接口的
模型能力再强，它也不能直接控制一台工业机器人。
连接AI和物理世界的中间层——工业控制接口、IoT设备管理、机器人操作系统——这些不会被大模型吞噬，因为它们的价值不在”智能”，而在”连接”和”安全”。
自动驾驶中的感知融合模块、工业AI中的设备驱动层、医疗AI中的设备接口——这些中间件会长期存在，因为模型厂商不会去做硬件适配。
3. 有强分发和网络效应的
最后一类能活的，是那些建立了强大分发渠道和网络效应的产品。
Notion AI能活，不是因为它的AI比GPT好，而是因为几百万团队的文档都在Notion上，AI是长在已有工作流里的。
Figma AI能活，因为设计师的协作关系和设计资产都在Figma生态里。
Canva AI能活，因为几亿用户的使用惯性和模板生态。
关键是：AI是产品的一部分，而不是产品的全部。 如果你的产品去掉AI能力还有人用（Notion去掉AI还是好的文档工具），那你是安全的。如果去掉AI能力你的产品就没有存在意义（纯AI写作工具、纯AI翻译工具），那你很危险。
这也是为什么我越来越认为：“AI native”公司反而比”AI enhanced”公司更脆弱。
听起来反直觉对吧？但逻辑很清楚——AI native公司的全部价值都建立在AI能力之上，而这个能力是租来的（调API）。AI enhanced公司有自己的核心产品价值，AI只是增强。租客怕房东涨价或者不租了，但房主不怕。
七、一个更深的问题：我们是不是在目睹平台吞噬生态？
写到这里，我想聊一个更大的问题。
2007年，iPhone发布。之后几年，App Store生态爆发，几百万个应用涌现。手电筒应用、计算器应用、天气应用、笔记应用、指南针应用——每一个都是一个”中间件”，把iPhone的硬件能力翻译成用户可用的功能。
然后苹果开始一个一个把这些功能内置到iOS里。
手电筒变成了控制中心的一个按钮。指南针成了系统应用。天气内置了。翻译内置了。录屏内置了。笔记越来越强大。
每一次，对应的第三方应用要么死掉，要么被挤到一个很窄的细分领域。
开发者社区给这个现象起了个名字：“被Sherlocked”（因为苹果内置了搜索功能干掉了叫Sherlock的第三方搜索应用）。
AI行业正在经历大规模的”Sherlocking”。
模型厂商就是苹果，中间件就是第三方应用。区别是：苹果Sherlock你可能需要一两年，模型厂商Sherlock你只需要几个月。因为软件的迭代速度比硬件快得多。
这公平吗？
当然不公平。
但商业世界从来不关心公平。它关心效率。
当一个功能被模型原生支持比被第三方包装提供更高效、更便宜、体验更好时，用户会自然地流向原生方案。不需要任何人”推动”这个过程。
这个趋势不可逆。
但这不意味着你不能在这个大趋势中找到自己的位置。
八、写给不同读者的行动建议
如果你是AI创业者
1. 立刻做一次”Sherlock审计”。
把你产品的每一个核心功能列出来，问自己：这个功能，模型厂商有没有可能在12个月内内置？如果答案是”有可能”，你就需要一个Plan B。
怎么判断？看模型厂商的roadmap和发布节奏。如果Claude已经能做tool use了，那”帮模型调用工具的框架”就是高风险。如果GPT已经能搜索了，那”AI+搜索”就是高风险。
2. 把壁垒从”AI能力”转移到”AI不能替代的东西”上。
数据壁垒、分发渠道、用户关系、行业合规、硬件接口——这些是模型厂商不会做也做不了的。你的公司在这些维度上有多少积累？如果答案是”几乎没有，我们主要靠AI能力好”，那你需要非常紧迫地改变这个状态。
3. 考虑从”工具”转向”服务”。
工具会被内置，但服务不容易被内置。
一个”AI帮你写合同”的工具，模型能直接做。但一个”帮你处理整个合同审核流程（包括跟法务沟通、跟对方律师来回修改、确保合规）”的服务，模型做不了——因为涉及到人际关系、流程管理、行业经验。
从提供”一个AI功能”到提供”一个AI驱动的完整解决方案”，是中间件公司最现实的转型方向。
4. 速度比完美重要，但方向比速度重要。
如果你还在一个注定被Sherlock的方向上跑，跑得再快也没用。先确认方向，再谈执行。
如果你是开发者/技术人员
1. 不要把时间投资在注定会被淘汰的中间件技能上。
现在花三个月深入学习LangChain的架构，这个投资很可能贬值。因为模型厂商的SDK在快速收敛这些功能，学一个在消亡的框架不如直接学模型厂商的原生SDK。
我不是说不学框架，而是说要学那些短期内不会被模型内化的能力：系统设计、分布式架构、安全工程、性能优化、领域知识。
2. 认真学习Agent开发范式。
不管中间件层怎么变，”AI Agent”是确定的方向。但Agent开发不是调调API那么简单，它涉及到：
• 怎么设计工具和权限边界
• 怎么处理Agent的错误和幻觉
• 怎么在自主性和可控性之间找平衡
• 怎么做Agent的评估和监控
这些是模型厂商不会帮你解决的，因为它们是应用层的问题，不是模型层的问题。
3. 培养”直接跟模型对话”的能力。
这听起来简单，其实是一项被严重低估的技能。
很多开发者习惯了”用框架封装模型”的思路，但未来越来越多的场景是直接跟模型交互——直接写prompt、直接用原生API、直接设计系统prompt。
能不能写出一个好的系统prompt，能不能设计出合理的工具定义，能不能有效地引导模型的行为——这些能力的重要性会越来越高。
如果你是普通用户/非技术人员
1. 不要为”AI皮肤”付费，直接用底层模型。
市面上很多AI产品，说白了就是在ChatGPT或Claude上面包了一层UI，加了几个模板。你为什么要为一个UI多付钱？
直接用ChatGPT、Claude、Gemini。它们的功能已经非常强大，而且在不断变强。你花20美元/月的ChatGPT Plus，比花同样价钱的某个AI写作工具，能做的事情多得多。
2. 关注模型的原生能力更新，而不是第三方工具的推荐。
每次大模型更新——比如Claude支持了图片生成、ChatGPT支持了高级数据分析——这些更新可能直接淘汰你正在用的某个第三方工具。
养成习惯：每次大模型发布更新，看看更新了什么功能，想想你现在用的哪些工具可以被替代了。
3. 投资在提问能力上，而不是工具选择上。
未来最重要的个人能力不是”会用哪个AI工具”，而是”能不能把自己的需求清晰地表达给AI”。因为工具会变，模型会升级，但”清晰表达需求”这个能力是恒久的。
与其花时间评测10个AI写作工具哪个好用，不如花时间练习怎么跟一个AI说清楚你到底想写什么。
尾声
写这篇文章的时候，我一直在想一个更哲学的问题。
当AI的能力边界不断扩展，从文字到图片到代码到搜索到文件处理到任务执行，它越来越像一个通用的数字劳动力，而不是一个专用工具。
通用劳动力不需要中间商。
你不需要一个翻译公司帮你跟一个精通50种语言的人沟通。你不需要一个编程外包帮你管理一个能自己写代码的Agent。你不需要一个数据处理工具来辅助一个能直接理解原始数据的AI。
中间件的消亡不是技术问题，是经济学问题。当交易成本趋近于零，中间商就失去存在的意义。
科斯在1937年就说了这个道理：企业之所以存在，是因为市场交易有成本。当交易成本降低时，企业的边界会缩小，更多活动通过市场直接完成。
AI正在把”智力服务”的交易成本降到接近零。那些靠降低交易成本而存在的中间件，正在因为交易成本的根本性降低而变得多余。
这不是坏事。它意味着AI的能力正在以更低的成本、更高的效率传递给每一个终端用户。只是在这个过程中，有些人需要找到新的位置。
包括我自己。
留几个问题，也是我自己还在想的：
如果大部分AI中间件都会消亡，那AI创业的机会到底在哪？是更上游（基础模型）还是更下游（垂直行业服务）？
模型厂商吞噬中间件的过程中，会不会形成新的垄断？这种垄断对用户是好是坏？
当AI能端到端完成越来越多的任务，”产品经理”这个角色会被重新定义吗？从设计产品功能变成设计AI的行为？
你现在用的哪些AI工具，本质上只是大模型的一层皮？你愿意为这层皮继续付费吗？
想清楚这几个问题的人，在接下来的18个月里会走得更稳。