OpenAI后训练负责人Yann Dubois:后训练的核心价值、持续学习的重大难题

• AI能力连续增长，可靠性触发了阶跃式进化：OpenAI约在2025年12月跨越了模型可靠性阈值，一旦跨过门槛即可将大量工作交给模型，飞轮效应正在加速各领域渗透。

• 后训练RL从跑分走向真实价值：“后训练（Post-training）”是让“通晓万物”的模型真正为人类所用的关键。核心范式转变是将仅针对可验证奖励（数学/编程竞赛）的优化方法，扩展到针对现实世界用户效用进行优化，大幅提升生产力。

• 预训练并未触及「数据墙」，大模型带来极高效率：各家公司找到了克服数据限制的方法；大模型通过减少思考token数和更好的推理并行化，用更少资源达到更高性能。

• RL的威力来自规模阈值，而非方法本身的改进：模型必须达到一定规模、具备良好世界知识先验后，RL才发挥巨大威力——这解释了为何早期RL被普遍认为「不可用」。

• SFT天然导致幻觉，RL天然抑制幻觉：SFT强迫模型对不知道的知识凭空捏造（行为克隆标准答案中模型不知道的内容），而RL从自身输出采样，不会奖励不懂装懂的行为。

• 最简单且能扩展的方法最终胜出：GRPO成为开源RL主流共识，其核心就是尽可能多地采样答案然后判断对错——极简性让它能随Scaling Law不断扩展。

• 持续学习是ChatGPT问世3年后仍未解决的重大难题：模型在第零天即有用但效用不随时间增长，「曲线下面积」不如人类；Dubois坦言不清楚为何至今未能攻克。

• Agent框架短期必需，但不可能长期通用：缺乏框架会浪费模型潜力，但模型迭代太快，试图打造长期通用框架行不通，框架必然需要持续重构。

01/ 行业整体发展与趋势判断

AI进步的阶跃函数本质：能力连续增长但影响非线性爆发

• OpenAI内部感受到AI能力的增长始终是连续平滑的，但其产生的实际影响却呈现阶跃函数特征。核心原因在于模型必须达到一定的可靠性阈值，才能让AI工具真正发挥巨大作用——OpenAI大约在2025年12月跨越了这个门槛。一旦跨过，团队可以放心地将大量工作交给模型处理，由此产生的飞轮效应使发展加速。

• 编程领域3-4个月前已出现阶跃函数式的冲击，接下来这种冲击将渗透到每一个其他垂直领域。未来12-24个月内进步将保持连续，不会出现巨大的非连续性跃迁——大多数非连续性都是局部的，拉远视角看总是相当平滑。

• 当前AI模型在「第零天」就比大多数新员工更有用，但其效用曲线随时间基本不变——因为模型不会真正学习公司特有知识，也不会在任务中变得更高效。而人类学习曲线陡峭，真正重要的是效用曲线下的面积（积分），而非起点高度。持续学习的目标是让模型效用随时间单调递增。

• ChatGPT问世已3年，持续学习问题至今未解决，这一点出乎意料。Dubois坦言不清楚为何需要这么长时间才能攻克，认为只要投入足够资源终究能解决，但隐私权限等问题增加了复杂性。

02/ 后训练与强化学习的范式演进 

从可验证奖励到现实世界：RL应用范围的根本性扩展 

• OpenAI过去一年在推理模型上的核心转变是：将为可验证奖励场景打造的工具，更广泛地应用于错综复杂的现实世界用例中。早期o1/o3主要针对数学题和编程竞赛等容易判断对错的任务优化，如今已能针对用户实际效用进行优化，大幅提升生产力。这一转变标志着从「跑分竞赛的象牙塔」走向「为用户创造真实价值的广阔天地」

强化学习克服了「不可用」的历史偏见，其威力来自规模阈值 

• 直到两年前，学术界和研究界大多数人认为RL根本行不通或太难调参。Dubois本人在ChatGPT发布时也持此观点，这正是他启动Stanford Alpaca（仅用SFT）的初衷。然而，一旦模型跨越规模阈值、具备良好的世界知识先验后，RL就开始发挥巨大威力——这不仅适用于LLM，机器人领域也进入了同一阶段。

• 开源社区中GRPO已成为主流共识，其核心优势在于极简性：尽可能多地采样答案然后判断对错。最简单且能随着Scaling Law不断扩展的方法，往往就是最终效果最好的方法。

SFT导致幻觉，RL天然抑制幻觉

• SFT（监督微调）的行为克隆机制实际上是在逼迫模型产生幻觉：当模型对某个主题本无知识，却被强行喂入包含该主题的标准答案时，模型被训练去凭空捏造。而在RL中，由于模型从自身输出中采样，它几乎不可能随机生成自己不知道但恰好正确的内容，因此「不懂装懂」的行为会被RL机制直接扼杀。

扩展RL的两大核心难题：基础设施与归因

• RL扩展面临两大技术瓶颈：一是基础设施层面，需要在大规模GPU上进行海量答案采样并判断对错，成本极其高昂；二是归因难题——在agentic系统中，只有在漫长的序列执行结束时才知道最终结果是否正确，很难辨别究竟是哪一个具体环节导致了成功或失败。

03/ 模型架构与效率优化

预训练并未撞墙：大模型反而带来极高效率

• 约两年前业界普遍认为预训练已触及天花板，但事实证明这一判断错误。从Anthropic等公司模型的token成本可推断其规模显著增大，仅通过增加规模就获得了极其出色的性能。各家公司似乎都找到了克服互联网数据有限困境的方法，「数据墙」并未真正到来。

• 大模型的效率优势违反直觉：模型规模越大，其「思考时间」（生成的token数）通常越少——因为模型在生成每个token时已通过自身权重进行了「思考」。同时，大模型在推理阶段能更好地实现并行化，推理优化空间更大，因此整个系统反而更高效。

测试时计算扩展：效率曲线左移 + Pro版延伸曲线

• GPT-5.5的核心突破体现在效率：横轴为延迟、纵轴为性能的曲线被整体向左推移——用更少的时间实现同等甚至更高的性能。这是研究团队（减少思考token数）和推理团队（降低延迟）协同发力的结果。Pro版本则延伸了曲线右端，满足「只求正确率最大化、完全不在乎延迟」的场景需求。

对 OpenAI Codex 的态度

• 中训练（Mid-training）是介于预训练和后训练之间的阶段，核心理念是为更能代表最终模型预期表现的高质量数据赋予更高权重。预训练在互联网全量数据上训练（包括低质量论坛和广告），而中训练对维基百科、GitHub等高信息密度数据进行过拟合/加强训练。

04/ 竞争格局与应用生态判断

OpenAI内部组织架构：垂直团队+横向团队的正交协作

• OpenAI的后训练团队划分为垂直团队（针对特定用例如编程、计算机操作）和横向团队（负责指令遵循、函数调用、思考时间控制等通用能力）。Dubois的Post-training Frontiers团队负责三件事：决定最终训练中包含哪些内容、整合并执行大规模训练、推进横向改进。垂直改进可正交独立进行，不同版本可选择整合不同团队的成果。

跨领域泛化：关键不在「领域」而在「横向能力」

• 模型能力的参差不齐并非领域壁垒问题，而是底层所需的横向通用能力是否具备的问题。擅长数学竞赛的模型在编程竞赛中通常也不差，因为所需的底层技能相通。但竞赛环境规则明确、信息完备，与现实世界的混乱和歧义完全不同——现实世界要求模型具备信息检索、理解模糊任务等横向能力。

评估瓶颈：能力飞轮与评估过时的悖论

• 评估（evals）越来越难的原因有三：任务越来越开放（从找bug到建网站），模型在特定领域已超越大多数人类评估者，以及每当构建一个评估标准，它实际上也是在构建训练数据集的方法——模型会通过泛化能力在该评估上快速表现优异，导致评估迅速过时。

Agent框架的定位：短期必需但不可能长期通用

• 当前agent框架对特定垂直领域有显著价值（如将可靠性从80%提升到85%），但试图打造长期通用的控制框架是行不通的。原因在于模型能力迭代极快，框架未来极有可能需要重构。然而如果缺乏优秀的控制框架，我们就是在白白浪费模型的巨大潜力——如果冻结当前模型并全力构建框架，人们会在每一个垂直领域体验到AGI。