夜雨聆风Views are my own.
这是 Stanford MS&E 435 系列的第六篇。前五篇沿价值链从底向上：芯片框架与倒三角、推理工厂经济学、能源与数据中心物理学、企业端 Solow Paradox、供给侧递归自优化。
这篇上移一层，进入模型层。但不是如何更好地做预训练，而是如何落地——当通用模型已经足够聪明，企业怎么让它真正理解自己的业务？
第六课的嘉宾是 Yash Patil，Applied Compute 创始人兼 CEO。这哥们去年 Stanford 刚毕业，但2023 年初就曾加入 OpenAI 后训练团队，从测评做起。2024 年 o1发布后，Yash 主导了将推理能力扩展到编程领域的探索，组建了 Long Horizon Tasks 团队，这个团队的 agentic coding 研究后来演变为现在的 Codex。
Yash Patil 2025 年离开 OpenAI 创办了 Applied Compute，累计融资达 1 亿美元，客户包括 DoorDash、Cognition（Devin）、Ramp 等。
Key Insights
一、每突破一次瓶颈，智能提升所需的数据就少一个量级
Source: MS&E 435 , Enterprise Internal Knowledge
模型训练的历史就是一部瓶颈转移史。而且瓶颈转移的节奏在加速。2012-2016 是数据和算力（ImageNet/AlexNet），2017 是序列架构（Transformer），2018-2021 是计算规模（Compute + Scale），2022-2024 是对齐和可用性（RLHF/ChatGPT）。每一轮转移，解法所需的数据量都在下降。
2024 年，瓶颈再次转移。o1 的发布证明了一个新的 scaling 方向：Test-Time Compute。
模型大小不变，但让它在回答时花更多计算“思考”。RLVR（Reinforcement Learning with Verifiable Rewards）把模型放进受约束的 RL 环境中，比如数学、编程等，用可验证的奖励信号训练推理能力。
在 RLVR 范式下，CoT（chain-of-thought）是涌现的行为策略，没有人用包含推理步骤（Let‘s think step by step）的标注数据显式训练模型。只是把它放进受约束的 RL 环境、给出可验证的奖励信号，模型自发学会了先推理再作答，但前提是预训练已经赋予了模型推理的潜在能力，RL 激活的是“主动使用这种策略”的决策。
25 年初 DeepSeek R1 用 GRPO（Group Relative Policy Optimization）在开源社区复现了这条路径：其 R1-Zero 直接对 base model 做 RL，不经过 SFT，CoT 同样自发涌现。R1 发布后百天内的大量复现研究验证了 RLVR 方法在多种模型和任务上的普适性。
这条瓶颈转移史背后有一条清晰的数据效率递减曲线：
预训练需要整个互联网（万亿 token），SFT 需要几万条人工标注，RLHF 需要几千条偏好对比，RLVR 只需要一个可验证的奖励函数加上计算资源。越往后，撬动性能提升所需的数据越少，计算的杠杆率越高。
RLVR 在代码和数学上先突破，有两层原因。表层原因是这两个领域有天然的 verifier，代码能编译、能跑单元测试，数学有标准答案。更深层原因是 coding models 本质上是“AGI complete”，几乎所有任务拆解到底层都是编码任务，模型在用代码作为通用语言与真实世界交互。代码领域的推理能力提升会泛化到更广泛的场景。
这也是去年 Claude Opus 4.5的 Coding 能力突破后，业界开始共识 Coding 能力是 LLM 之上的另一层通用能力，巨头们都开始全力在 Coding 方向发力的原因。
但企业场景的难点在于：大多数业务任务没有现成的 verifier。比如 Yash 列举的 DoorDash 的菜单该长什么样？JP Morgan 和 Goldman Sachs 的风控报告什么算“对”？这些标准存在于企业内部，从未或者难以被形式化。
二、通用大模型越来越聪明，但不懂你的业务
Source: MS&E 435 , Enterprise Internal Knowledge
Yash 在 OpenAI 做了两年 post-training，离开后创办 Applied Compute 帮企业训练专属模型。他用了一句非常精准的话概括了当前通用大模型在企业落地的困境：
“They‘re like smart geniuses that know nothing about your business.”
大模型看上去聪明绝顶，但对你的业务却一无所知。
为什么？
预训练是互联网公开知识的压缩。大模型学到了语言模式、推理能力、世界知识，但企业最有价值的决策逻辑从未出现在互联网上。
Yash 列举了他们几家客户的具体例子，如 Goldman Sachs 的风控标准、Kirkland & Ellis 的合同审查规则、Cognition 内部对“bug”的定义，这些是各家企业在多年运营中积累的隐性知识，是竞争优势的来源，也是通用模型的盲区。
这个鸿沟不会因为模型变大而消失。主持人 Apoorv 在课堂上直接问了这个问题：
“Why would you specialize an existing model when maybe GPT-17 might be out of the box much better?”
如果未来 GPT 17 开箱即用且能力更强，为什么还要专门训练企业大模型？
Yash 的解释是：
第一，企业需要在任何时间点都处于前沿，不能等。GPT 17 还很远，但竞争对手今天就在用 AI 优化业务。后训练的 ROI 是即时的，用远小于预训练的计算量，立刻获得针对你的业务场景的性能提升。
第二，世界是碎片化的。不存在一个万能大模型知道所有企业的所有业务逻辑。数据分散在无数组织中，每家企业对“好”和“坏”的定义不同，这个现实不会因为模型变大而改变。
在这个系列的第四篇中，Databricks CEO Ali Ghodsi 诊断了同一个问题：
“The models just don‘t have the context that the humans have inside of organizations. Therefore, they’re useless.”
模型没有组织内部人才拥有的上下文，所以它们没用。
他的解法侧重数据管道——让组织知识结构化流入模型。这篇给出另一半：不只是让数据流入模型，而是让模型从数据中学会正确行为。怎么做？定义“什么算对”，然后让 RL 去优化。
三、企业定义验收标准，模型行为交给 RL 优化
“让模型学会正确行为”说起来简单，操作上怎么做？企业不可能自己训练模型——没有团队、没有基础设施、不知道 RL 的超参怎么调。
Yash 的建议是，企业真正需要做的只有一件事——定义 Evals：
“Whatever hill you want to climb, you first define it with an eval. Then RL is this eval-maxing machine. You go and create a training pipeline that looks very much like your eval… and then you just climb that hill.”
你想爬哪座山，先用 eval 定义那座山。RL 就是一台 eval 最大化机器——你构建一条和 eval 高度一致的训练管线，然后直接爬山。
Source: MS&E 435 , Enterprise Internal Knowledge
企业定义 Evals，RL 沿 Evals 持续优化效果。SWE-Bench 就是这个逻辑的经典案例，它开启了巨头们 coding model 的激烈竞赛。尽管有缺陷，但 eval 的存在本身比完美更重要。eval 设定方向，RL 负责执行。
Yash 举了2个典型的客户案例。
DoorDash 菜单提取。把餐厅非结构化菜单图片转化为 DoorDash 标准化店面的任务，难点不在 OCR，而在 DoorDash 有一套极其具体的 style guide：modifier 如何附加到 item、什么算 add-on vs special ingredient、哪些组合可以 mix-and-match。通用大模型做不到，也做不好。Applied Compute 的解法：模型输出菜单 → 人工校正 → 计算 error rate → 用 RL 直接优化 error rate。
Cognition 的 bug 检测。 用户保存代码时 2 秒内检测 bug 的任务，通用大模型准确率够但延迟不可接受，通用小模型够快但漏检率太高。Applied Compute 的解法是，用小模型在 bug 检测这个单一任务上做极致 post-training，最终同时拿到大模型的准确率和小模型的延迟。竞争对手用通用模型做不到这个组合。
两个案例展示了同一个模式：企业定义 eval（error rate、bug 捕获率），Applied Compute 用 RL 优化到极致。企业不需要理解 RL 怎么工作，只需要定义“什么是好”。
后训练的计算经济学
为什么后训练能用这么少的计算撬动这么大的性能提升？
DeepSeek 的数据给出了直觉：V3 预训练约 266 万 H800 小时，R1 的 RL 训练仅用 512 块 H800 跑了约 80 小时（约 4 万 GPU 小时）——不到预训练的 2%。但 R1 在推理任务上的性能跃升远超这个比例。
机制很清晰。预训练的优化目标是 next token prediction，模型从整个互联网的 token 分布中学习通用语言模式和世界知识，绝大多数梯度对任何特定下游任务都没有直接贡献。
RL 则相反，模型在目标任务上反复试错，每个 training step 的梯度直接作用于你关心的能力维度。同样一小时的 GPU 时间，RL 的边际收益高出几个数量级。前提是 RL 优化的是策略选择，不是从头学习新表示——base model 的预训练质量决定了后训练的上限。后训练是杠杆，不是地基。
Post-training 有自己的 scaling laws，更大 batch、更多 rollout、更长推理链都能持续提升性能，且目前远未触及收益递减的拐点。
产业数据验证了这个趋势：2025 年 Cursor 披露其自研编码模型 Composer 1.5 的后训练计算量已超过预训练基础模型本身。OpenAI 从 o1 到 o3 的 RL 计算投入增长超过 10 倍，而 DeepSeek V4也不再做单一混合 RL，而是为数学、编码、agent tasks、指令遵循分别训练独立的 specialist expert，再通过 On-Policy Distillation 整合回主模型。后训练本身已经复杂到开始按领域拆分。
后训练算力从预训练的零头，正在翻转为主要投入方向。预训练的边际回报在递减，后训练的边际回报仍在上升——资本自然流向回报更高的方向。
奖励信号的扩展与内在张力
RLVR 在 code/math 上先突破，因为有天然 verifier（编译通过、答案正确）。企业场景的难点是多数任务没有二元对错。
扩展路径是组合奖励。生成 PPT 的任务就是一个非常好的例子，只有“功能性 reward（代码是否正确执行）” + “审美 reward（人类偏好模型判断是否美观）”联合优化，模型同时学会写出能用且好看的 slides。
学术上将这个问题进一步形式化，RLVRR（Reinforcement Learning with Verifiable Reference-based Rewards, ICLR 2026）将奖励分解为：
RLVR 由此从“有标准答案的任务”扩展到“有参考标准的任务”，这样就可以覆盖绝大多数企业场景，后续可以重点关注 RLVRR 在实际场景任务的效果是否有足够的通用性。
但这条路径越做越难。模型越强，下一个有效训练任务越难构造。Low-hang fruits 先被摘完，剩下的越来越难、越来越贵。同时，RL 本质上利用 Generator-Verifier Gap——模型越强，自己生成合成训练数据的能力越强，对外部数据供应商的依赖越低，价值捕获从“标注数据”转向“eval 定义权”。这给 Applied Compute 这样的模型训练服务商带来了双重压力：每一轮成功都在抬高下一轮的门槛，而数据护城河的来源也在迁移。
关于Generator-Verifier Gap, 一年前我也写过一个文章：
生成器-验证器差距(Generator-Verifier Gap)到底是个啥？
四、从离线训练到生产环境的持续学习
RL 后训练解决了“如何从企业数据中学习”，但训练完成后模型就固定了。下一个问题：如何让模型在部署后持续学习？
Source: MS&E 435 , Enterprise Internal Knowledge
当前模型做不到这件事，课堂上 Yash 展示了两个已经在实践中的方向：
Cursor 的在线权重更新。 Cursor 自研的编码模型 Composer 基于开源模型（Kimi K2.5）训练。部署到生产环境后，收集隐式反馈信号：用户是否接受了代码建议？是否回退了某段代码？是否在生成的代码上继续工作？这些信号被转化为隐式奖励。在线训练和离线 RL 有一个关键区别——离线 RL 可以对同一个任务并行 rollout 几百次，在线环境中每个用户的每次交互都是独特的、不可重放的。Cursor 的解法是用大 batch 统计降噪，从数十亿 token 的真实交互中提取方向性梯度，更新权重后跑 eval suite 确认无回归，再部署新 checkpoint。整个循环约 5 小时——一天可以多次迭代，Composer 在持续变强的同时从未离线。
Applied Compute 的 context-based 方法。 不更新权重，而是用 agent 离线分析历史交互 trace，哪些决策导致了好结果，哪些模式反复出现，然后提取 learnings 注入模型的上下文。在相同 token 消耗下，不同 reasoning effort 级别都看到了性能的大幅提升。
两条路径各有 trade-off。权重更新能产生持久的能力改变，但有灾难性遗忘 （ Catastrophic Forgetting） 风险，学新的忘旧的，且需要持续的计算投入。Context-based 方法没有遗忘问题，部署更轻量，但受限于上下文窗口长度，且 learnings 的质量依赖于分析 agent 的能力。
Continual Learning 的一个关键瓶颈在数据。你能否找到合适的人获取反馈？能否深度理解所有必要的上下文来判断好坏？这是工程和组织问题，不是纯算法问题。
权重更新、上下文增强、Harness Engineering 优化三条路径并行演进。短期内 Context-based 方法会先普及（部署成本低、风险小），但长期看，权重更新才能产生真正的能力积累，上下文注入的 learnings 不会在模型换代时保留。
五、后训练值不值得做？三个乘数决定 ROI
通用大模型的智能水位在快速抬升，每一代都更强、更便宜、更易用。但通用大模型已经成为 Commodity，你能用 Claude/GPT，竞争对手也能用。你能调 Opus 4.6/GPT 5.5 的 API，行业里每家公司都能调。对于企业来讲，通用大模型层面未来的差异化越来越小。
差异化来自通用大模型之上叠加的专属智能。DoorDash 的菜单模型、Cognition 的 bug 检测模型、Ramp 的表格搜索模型等，这些是各家企业用自己的数据、自己定义的 eval、自己的业务标准训练出来的。竞争对手拿不到你的数据，也不知道你的 eval 长什么样。
但“天花板”有多高，不是所有企业都一样。
什么决定了一家企业是否值得投入后训练？简单讲，后训练 ROI 由三个乘数决定：
DoorDash 菜单（高独占 × 高可形式化 × 高频率）是后训练的理想场景。通用客服（低独占 × 高可形式化 × 高频率）训练有效但没有护城河，竞争对手用同样的方法论很快追上。CEO 战略决策（高独占 × 低可形式化 × 低频率）则完全不适合后训练。
三者是乘法效应，不是线性加法。三乘数决定了后训练本身的 ROI，但企业的系统级竞争优势不止于模型权重。
Yash 还提出一个三要素协同：Model + Harness + Context。模型提供基础能力，Harness 决定模型如何被使用，Context 决定模型能看到什么。三者联合优化才有系统级优势，应用层公司的真正创新往往在 Harness 和 Context 的设计上，模型优化是配合项。
六、Capex vs Opex：后训练的边界与演进方向
后训练是 Capex，一次性投入训练成本，之后每次推理只需要短 prompt，模型已经内化了业务知识。Prompting + RAG 是 Opex，零训练成本，但每次推理都要把业务知识塞进上下文，额外消耗大量 token。
两条路径存在一个 break-even point：当任务执行次数超过“训练成本 ÷ 每次推理节省的 token 成本”时，后训练更划算。
但 token 成本只是一个维度。后训练还有两个 prompting 无法复制的结构性优势：
所以真实的 break-even 公式是：训练成本 ÷（token 节省 + 一致性溢价 + 延迟约束）。
高频 + 高合规 + 低延迟的任务，后训练几乎总是更优；低频 + 容错高 + 延迟不敏感的任务，prompting 够了。这条边界会随通用模型能力提升而移动，context window 越大、ICL 能力越强，后训练的 break-even 阈值就越高。
当企业在特定领域积累了足够多的专属数据，后训练会升级为领域预训练。Cursor 在 Compile 大会上宣布与 SpaceX/xAI 联合，在 xAI Colossus 的 10 万块 GPU 上从头预训练 1.5 万亿参数的编码模型，训练数据核心来自 400 万活跃开发者的真实行为信号。
法律 AI 应用公司 Harvey 联合创始人兼总裁 Gabe Pereyra 最近在 X 上发布了详细的法律基础大模型计划，公开承认是受Cursor的启发，技术路线上也是 Cursor 类似的路径：后训练积累数据和 eval → 数据量达到临界点 → 从头预训练领域模型。
但这不是所有企业的路径。
Cursor 和 Harvey 是 AI-native 平台，拥有数百万用户产生的海量领域行为数据。绝大多数企业没有这个数据规模，“通用大模型 + 后训练”仍然是最优路径。
后训练和领域预训练不是非此即彼，而是同一条光谱的两端——企业的专属数据量越大、领域越深，就越值得从后训练向领域预训练移动。而无论在光谱的哪个位置，专属训练层的定价权都来自 ROI 而非 token 消耗——这是它与通用模型层被开源压缩毛利的根本区别。
下一篇进入应用层。当模型不再只是回答问题，而是自主执行多步任务，推理量即将增长十亿倍的世界里，价值捕获的逻辑会发生什么变化？
Enjoy!
References
