前段时间参加方塘论坛有幸现场听了加拿大计算机科学家、强化学习之父 Rich Sutton的报告以及现场与项飙的对话,对Sutton的观点和思考印象深刻。差不多的时间,Nature Medicine6月发表的一篇文章让我想到了更多。文章发现通用前沿大模型(GPT-5.2、Gemini 3.1 Pro、Claude Opus 4.6)在三项医疗基准测试中全面超越了专门为医疗场景设计的商业 AI 工具。更令人意外的是,Google 搜索自带的 AI Overview 功能,竟然与那些估值数十亿美元的专用临床 AI 表现相当。这不只是一个医学界的故事。它让人想到另一个领域里正在安静发生的同一件事:人文社会科学中的专用模型——那些专为古汉语、历史文献、法律条文打造的调优模型——还有多少未来?


论文说了什么:三场考试,通用模型全胜
2026 年 6 月 12 日,纽约大学 Vishwanath 等 16 位研究者在 Nature Medicine 发表《General-purpose large language models outperform specialized clinical AI tools on medical benchmarks》。1该文设计了三阶段评估,比较两款专用临床 AI 工具(OpenEvidence 和 UpToDate Expert AI)与三款通用前沿大模型(OpenAI GPT-5.2、Google Gemini 3.1 Pro、Anthropic Claude Opus 4.6)的表现。
三场考试,通用模型全胜。
第一场:MedQA 医学知识(500题)。类似美国执业医师考试的选择题。Gemini 以 97.4% 的准确率居首,GPT 94.2%、Claude 90.2%,而专用工具 OpenEvidence 为 89.6%,UpToDate 为 88.4%。统计检验显示差异显著。
第二场:HealthBench 临床专家一致性(500题)。 由 LLM 评审团评分,评估模型输出与专家临床判断的一致性。GPT 得分 88.0 遥遥领先,Gemini 79.3、Claude 77.0,而两款专用工具仅得 62.6 和 61.3——几乎是另一个层级。
第三场:真实临床查询 RCQ(100条)。这才是最有说服力的一关。研究者从纽约大学朗格尼健康中心的 HIPAA 合规 GPT 系统中抽取了 100 条匿名真实临床医师查询,由 12 位美国临床医师进行随机盲审,产生 1,800 条标注。结果出现了清晰的两个层级——
| 上层:前沿通用 LLM | ||
| 下层:专用工具 + 搜索 AI |
所有九对显著差异的两两比较,都发生在上下层级之间。这意味着通用模型不是在个别题目上侥幸占优,而是在大多数单题上都系统性地优于专用工具。
论文还附了一个让人五味杂陈的发现:Google AI Overview——那个你搜索时自动弹出的免费功能——与专门设计、估值数十亿美元的临床 AI 工具表现相当甚至更优。
为什么专用反而输了?
论文提出了一个机制性假设:这些专用工具很可能依赖检索增强生成(RAG),即先从医学文献库中检索相关内容,再让底层模型据此生成回答。但论文引用了近期研究指出——
“RAG may actually negatively affect model performance when irrelevant material is retrieved or poorly integrated by the base model.”5
换言之,“专用”的检索管线如果实施不当,不但不加分,反而减分——检索到不相关的材料、与模型内在知识发生冲突,都可能拖累输出质量。相反,前沿通用模型凭借更大的训练语料、更快的迭代周期和更充分的对齐,在知识检索和推理上可能天然就更强。
这里要做一个公平的说明:参数量差距是巨大的。GPT-5.2、Gemini 3.1 Pro、Claude Opus 4.6 都是数千亿乃至万亿级参数的前沿模型;专用工具的底层模型可能只有几十亿参数加 RAG。这不是同重量级的拳击赛。但如果我们是目标导向的(对于严肃的临床应用,一定是哪种方法管用就用哪种)那么参数量差异恰恰不是辩护理由,而是现实约束。小模型 + RAG 的路线,需要证明自己在效果上能追平大模型,或者在成本、延迟、合规等维度上提供不可替代的价值。
一个更大的故事:“苦涩教训”
这篇论文不是一个孤立事件。它是 AI 发展史上一个反复上演的故事的最新章节。
2019 年,Rich Sutton 发表了一篇影响深远的短文,题为《苦涩教训》(The Bitter Lesson)。他的核心论点:
AI研究的历史反复证明:利用计算规模扩展的通用方法,最终总是战胜嵌入了人类领域知识的专门方法。
Sutton 逐一列举了从国际象棋到计算机视觉、从围棋到语音识别的案例。每一次,研究者都试图把自己对问题的理解编码进系统——精心设计的规则、手工提取的特征、人类专家的棋谱——这些方法在短期内往往令人满意。但最终,它们总是被一种更粗暴的方法所超越:给更通用的算法更多的计算资源和数据,让它自己去学。
这就是为什么它是苦涩的:它意味着研究者精心构建的领域知识,在足够大的通用方法面前,价值不如预期。
| 医疗 AI(2026) | 专用临床工具(RAG + 微调) | 前沿通用 LLM |
Nature Medicine 这篇论文,本质上是“苦涩教训”在垂直领域 AI 应用中的又一次验证。
从“苦涩教训”到“经验时代”:Sutton 的最新宣言
如果说 2019 年的“苦涩教训”是一篇回顾性的总结,那么 2025 年,Sutton 与 DeepMind 的 David Silver(AlphaGo 之父)联合发表的新论文《Welcome to the Era of Experience》(《欢迎来到经验时代》)7,则是一篇面向未来的宣言——它把”苦涩教训”的逻辑推到了更深远的结论。
Sutton 和 Silver 把 AI 的发展划分为三个时代:
| 模拟时代 | |||
| 人类数据时代 | |||
| 经验时代 |
我们正处于人类数据时代的尾声。这个时代成就非凡——LLM 在海量人类文本上训练,实现了前所未有的通用性。但 Sutton 和 Silver 指出,这条路正在逼近极限:
“The majority of high-quality data sources — those that can actually improve a strong agent’s performance — have either already been, or soon will be consumed. The pace of progress driven solely by supervised learning from human data is demonstrably slowing.”
更根本的是:人类数据只能教出人类水平的能力。要发现人类尚未拥有的知识(如发现新定理、新材料、新药物)必须让 AI 从自身与世界的交互经验中学习。
论文描绘的“经验时代”Agent 与当前 LLM 有四个本质区别:
- 持续的经验流(Streams)
不再是一问一答的短交互,而是在长时间尺度上持续学习和适应,像人类一样拥有“一生的经验”。 - 接地的行动与观察(Actions & Observations)
不再仅通过文字与人对话,而是通过API、传感器、机器人等直接与真实世界交互。 - 接地的奖励(Grounded Rewards)
不再依赖人类预判(人类评分员判断回答好不好),而是从环境本身获得反馈信号(如心率变化、考试成绩、碳排放数据、材料强度测量值)。 - 基于经验的推理(Reasoning about Experience)
不再仅用人类语言推理,而是基于世界模型预测行动后果,在经验中规划。
与 Nature Medicine 论文的共振
这篇论文与 Nature Medicine 的发现形成了一个惊人的呼应。
Nature Medicine 发现,专用临床AI工具的一个关键弱点是依赖“人类预判”式的RAG,即由人类预先筛选的医学文献库决定检索什么、怎么组织。Sutton 和 Silver 对此有一个精确的批判:
“Relying on human prejudgement in this manner usually leads to animpenetrable ceiling on the agent’s performance: the agent cannot discover better strategies that are underappreciated by the human rater.”
换言之,那些专用临床AI之所以输给通用模型,正是因为它们被锁死在“人类数据时代”的范式里,它们的知识来源(RAG 检索库)和质量标准(人类专家预判)都是人类预先定义的,而通用前沿模型则凭借更大的训练规模和更充分的对齐,在知识检索和推理上更接近“自主发现”的能力。
Sutton 和 Silver 的框架还提供了一个更深远的预言:即便是当前的通用前沿 LLM,也终将被经验时代的 Agent 所超越,因为 LLM 再强,仍然是在人类已有数据上训练的。真正的突破将来自 Agent 在真实世界中自主积累经验、自主发现知识的能力。
这对人文领域的含义是深刻的:当我们还在思考“该不该微调一个古汉语模型”的时候,AI的前沿已经在讨论如何让Agent自主在真实世界中学习,甚至超越人类知识的边界。这不是要否定人文研究的价值,恰恰相反,它意味着人文学者需要更快地从训练模型的思路中抽身,把精力放在更有杠杆效应的地方。
“苦涩”之中的“甜”
“苦涩教训”对研究者来说确实苦涩,它意味着你精心构建的领域知识、手工打造的特征工程,在足够大的通用方法面前可能不如预期有效。
但对应用者来说,它其实是一个好消息。
因为它意味着:你不需要自己训练一个大模型,就能获得世界级的AI能力。你需要做的是另一件事:构建高质量的领域知识层、设计可靠的工作流、建立有效的质量护栏。而这些事情,恰恰是领域专家(而非 AI 工程师)最擅长的。
换一个角度看,Nature Medicine 论文的结论其实是在说:医疗AI的瓶颈不在“模型不够医疗”,而在“工作流不够好”。那些专用工具之所以输,不是因为它们的医学知识不够,而是因为它们的 RAG 检索了不相关的材料、输出组织不够清晰、拒绝回答的比例过高(UpToDate拒绝了19%的查询)。
同样,人文 AI 的瓶颈也不在“模型不够人文”,而在”知识库不够好、工作流不够好、护栏不够好”。这些才是人文学者应该投入精力的地方,也是他们真正有竞争力的地方。
从古典语文学的文本校勘传统,到历史学的史料批判方法,到图书馆学的知识组织体系,人文学科积累了数百年的知识质量控制方法论。当这些方法论被译为 AI 工作流中的知识库架构与护栏规则,亦即一条条知识协议(KP)时,它们的价值不但没有消失,反而找到了新的、更大规模的应用场景。
智能数字人文 · 用 AI 重新丈量人文的边界
本文首发于微信公众号“智能数字人文”。引用请注明出处。
夜雨聆风