乐于分享
好东西不私藏

当通用大模型碾压专用AI

当通用大模型碾压专用AI

前段时间参加方塘论坛有幸现场听了加拿大计算机科学家、强化学习之父 Rich Sutton的报告以及现场与项飙的对话,对Sutton的观点和思考印象深刻。差不多的时间,Nature Medicine6月发表的一篇文章让我想到了更多。文章发现通用前沿大模型(GPT-5.2、Gemini 3.1 Pro、Claude Opus 4.6)在三项医疗基准测试中全面超越了专门为医疗场景设计的商业 AI 工具。更令人意外的是,Google 搜索自带的 AI Overview 功能,竟然与那些估值数十亿美元的专用临床 AI 表现相当。这不只是一个医学界的故事。它让人想到另一个领域里正在安静发生的同一件事:人文社会科学中的专用模型——那些专为古汉语、历史文献、法律条文打造的调优模型——还有多少未来?

方塘论坛 | 设计时代,还是共存时代?——萨顿与项飙回答“方塘·终极之问”
2026方塘论坛|萨顿VS项飙“方塘·终极之问”对话实录

论文说了什么:三场考试,通用模型全胜

2026 年 6 月 12 日,纽约大学 Vishwanath 等 16 位研究者在 Nature Medicine 发表《General-purpose large language models outperform specialized clinical AI tools on medical benchmarks》。1该文设计了三阶段评估,比较两款专用临床 AI 工具(OpenEvidence 和 UpToDate Expert AI)与三款通用前沿大模型(OpenAI GPT-5.2、Google Gemini 3.1 Pro、Anthropic Claude Opus 4.6)的表现。

三场考试,通用模型全胜。

第一场:MedQA 医学知识(500题)。类似美国执业医师考试的选择题。Gemini 以 97.4% 的准确率居首,GPT 94.2%、Claude 90.2%,而专用工具 OpenEvidence 为 89.6%,UpToDate 为 88.4%。统计检验显示差异显著。

第二场:HealthBench 临床专家一致性(500题)。 由 LLM 评审团评分,评估模型输出与专家临床判断的一致性。GPT 得分 88.0 遥遥领先,Gemini 79.3、Claude 77.0,而两款专用工具仅得 62.6 和 61.3——几乎是另一个层级。

第三场:真实临床查询 RCQ(100条)。这才是最有说服力的一关。研究者从纽约大学朗格尼健康中心的 HIPAA 合规 GPT 系统中抽取了 100 条匿名真实临床医师查询,由 12 位美国临床医师进行随机盲审,产生 1,800 条标注。结果出现了清晰的两个层级——

层级
模型
平均得分(4 分制)
上层:前沿通用 LLM
Gemini 3.62、GPT 3.54、Claude 3.52
无显著差异
下层:专用工具 + 搜索 AI
Google AI Overview 3.27、OpenEvidence 3.24、UpToDate 3.17
无显著差异

所有九对显著差异的两两比较,都发生在上下层级之间。这意味着通用模型不是在个别题目上侥幸占优,而是在大多数单题上都系统性地优于专用工具。

论文还附了一个让人五味杂陈的发现:Google AI Overview——那个你搜索时自动弹出的免费功能——与专门设计、估值数十亿美元的临床 AI 工具表现相当甚至更优。

为什么专用反而输了?

论文提出了一个机制性假设:这些专用工具很可能依赖检索增强生成(RAG),即先从医学文献库中检索相关内容,再让底层模型据此生成回答。但论文引用了近期研究指出——

“RAG may actually negatively affect model performance when irrelevant material is retrieved or poorly integrated by the base model.”5

换言之,“专用”的检索管线如果实施不当,不但不加分,反而减分——检索到不相关的材料、与模型内在知识发生冲突,都可能拖累输出质量。相反,前沿通用模型凭借更大的训练语料、更快的迭代周期和更充分的对齐,在知识检索和推理上可能天然就更强。

这里要做一个公平的说明:参数量差距是巨大的。GPT-5.2、Gemini 3.1 Pro、Claude Opus 4.6 都是数千亿乃至万亿级参数的前沿模型;专用工具的底层模型可能只有几十亿参数加 RAG。这不是同重量级的拳击赛。但如果我们是目标导向的(对于严肃的临床应用,一定是哪种方法管用就用哪种)那么参数量差异恰恰不是辩护理由,而是现实约束。小模型 + RAG 的路线,需要证明自己在效果上能追平大模型,或者在成本、延迟、合规等维度上提供不可替代的价值。

一个更大的故事:“苦涩教训”

这篇论文不是一个孤立事件。它是 AI 发展史上一个反复上演的故事的最新章节。

2019 年,Rich Sutton 发表了一篇影响深远的短文,题为《苦涩教训》(The Bitter Lesson)。他的核心论点:

AI研究的历史反复证明:利用计算规模扩展的通用方法,最终总是战胜嵌入了人类领域知识的专门方法。

Sutton 逐一列举了从国际象棋到计算机视觉、从围棋到语音识别的案例。每一次,研究者都试图把自己对问题的理解编码进系统——精心设计的规则、手工提取的特征、人类专家的棋谱——这些方法在短期内往往令人满意。但最终,它们总是被一种更粗暴的方法所超越:给更通用的算法更多的计算资源和数据,让它自己去学。

这就是为什么它是苦涩的:它意味着研究者精心构建的领域知识,在足够大的通用方法面前,价值不如预期。

领域
专门方法的高光时刻
被通用方法超越
国际象棋
人类大师策略编码
Deep Blue 暴力搜索
计算机视觉
手工特征(SIFT、HOG)
卷积神经网络从数据学习
围棋
人类棋谱知识
AlphaGo Zero 纯 RL 自我对弈
NLP
规则语法、知识图谱
Transformer + 大规模预训练
医疗 AI(2026)专用临床工具(RAG + 微调)前沿通用 LLM

Nature Medicine 这篇论文,本质上是“苦涩教训”在垂直领域 AI 应用中的又一次验证。


从“苦涩教训”到“经验时代”:Sutton 的最新宣言

如果说 2019 年的“苦涩教训”是一篇回顾性的总结,那么 2025 年,Sutton 与 DeepMind 的 David Silver(AlphaGo 之父)联合发表的新论文《Welcome to the Era of Experience》(《欢迎来到经验时代》)7,则是一篇面向未来的宣言——它把”苦涩教训”的逻辑推到了更深远的结论。

Sutton 和 Silver 把 AI 的发展划分为三个时代:

时代
核心数据来源
代表系统
天花板
模拟时代
模拟器中的自我对弈
AlphaGo、Atari RL
封闭问题,单一奖励
人类数据时代
大规模人类文本
GPT、Claude、Gemini
无法超越人类知识的边界
经验时代
Agent 与真实世界的交互经验
即将到来
理论上无上限

我们正处于人类数据时代的尾声。这个时代成就非凡——LLM 在海量人类文本上训练,实现了前所未有的通用性。但 Sutton 和 Silver 指出,这条路正在逼近极限:

“The majority of high-quality data sources — those that can actually improve a strong agent’s performance — have either already been, or soon will be consumed. The pace of progress driven solely by supervised learning from human data is demonstrably slowing.”

更根本的是:人类数据只能教出人类水平的能力。要发现人类尚未拥有的知识(如发现新定理、新材料、新药物)必须让 AI 从自身与世界的交互经验中学习。

论文描绘的“经验时代”Agent 与当前 LLM 有四个本质区别:

  1. 持续的经验流(Streams)
    不再是一问一答的短交互,而是在长时间尺度上持续学习和适应,像人类一样拥有“一生的经验”。
  2. 接地的行动与观察(Actions & Observations)
    不再仅通过文字与人对话,而是通过API、传感器、机器人等直接与真实世界交互。
  3. 接地的奖励(Grounded Rewards)
    不再依赖人类预判(人类评分员判断回答好不好),而是从环境本身获得反馈信号(如心率变化、考试成绩、碳排放数据、材料强度测量值)。
  4. 基于经验的推理(Reasoning about Experience)
    不再仅用人类语言推理,而是基于世界模型预测行动后果,在经验中规划。

与 Nature Medicine 论文的共振

这篇论文与 Nature Medicine 的发现形成了一个惊人的呼应。

Nature Medicine 发现,专用临床AI工具的一个关键弱点是依赖“人类预判”式的RAG,即由人类预先筛选的医学文献库决定检索什么、怎么组织。Sutton 和 Silver 对此有一个精确的批判:

Relying on human prejudgement in this manner usually leads to animpenetrable ceiling on the agent’s performance: the agent cannot discover better strategies that are underappreciated by the human rater.

换言之,那些专用临床AI之所以输给通用模型,正是因为它们被锁死在“人类数据时代”的范式里,它们的知识来源(RAG 检索库)和质量标准(人类专家预判)都是人类预先定义的,而通用前沿模型则凭借更大的训练规模和更充分的对齐,在知识检索和推理上更接近“自主发现”的能力。

Sutton 和 Silver 的框架还提供了一个更深远的预言:即便是当前的通用前沿 LLM,也终将被经验时代的 Agent 所超越,因为 LLM 再强,仍然是在人类已有数据上训练的。真正的突破将来自 Agent 在真实世界中自主积累经验、自主发现知识的能力。

这对人文领域的含义是深刻的:当我们还在思考“该不该微调一个古汉语模型”的时候,AI的前沿已经在讨论如何让Agent自主在真实世界中学习,甚至超越人类知识的边界。这不是要否定人文研究的价值,恰恰相反,它意味着人文学者需要更快地从训练模型的思路中抽身,把精力放在更有杠杆效应的地方。

“苦涩”之中的“甜”

“苦涩教训”对研究者来说确实苦涩,它意味着你精心构建的领域知识、手工打造的特征工程,在足够大的通用方法面前可能不如预期有效。

但对应用者来说,它其实是一个好消息。

因为它意味着:你不需要自己训练一个大模型,就能获得世界级的AI能力。你需要做的是另一件事:构建高质量的领域知识层、设计可靠的工作流、建立有效的质量护栏。而这些事情,恰恰是领域专家(而非 AI 工程师)最擅长的。

换一个角度看,Nature Medicine 论文的结论其实是在说:医疗AI的瓶颈不在“模型不够医疗”,而在“工作流不够好”。那些专用工具之所以输,不是因为它们的医学知识不够,而是因为它们的 RAG 检索了不相关的材料、输出组织不够清晰、拒绝回答的比例过高(UpToDate拒绝了19%的查询)。

同样,人文 AI 的瓶颈也不在“模型不够人文”,而在”知识库不够好、工作流不够好、护栏不够好”。这些才是人文学者应该投入精力的地方,也是他们真正有竞争力的地方。

从古典语文学的文本校勘传统,到历史学的史料批判方法,到图书馆学的知识组织体系,人文学科积累了数百年的知识质量控制方法论。当这些方法论被译为 AI 工作流中的知识库架构与护栏规则,亦即一条条知识协议(KP)时,它们的价值不但没有消失,反而找到了新的、更大规模的应用场景。


智能数字人文 · 用 AI 重新丈量人文的边界

本文首发于微信公众号“智能数字人文”。引用请注明出处。