Codex 不只是一款编程助手:OpenAI 开放了它背后的 Agent Harness

────────GADE Insights────────

GADE Union 发布

01

模型一进生产，真正的问题才出现

Chaubard 在 2016 年离开博士项目、创办 Focal Systems 时，行业里一种常见看法是：数据是大宗商品，下载完 ImageNet，训练所需的原料似乎就已经齐了。数据公司的终局价值，也因此被不少投资人看得很低。

生产环境很快推翻了这种想象。在实验室数据集里，训练分布通常相对整齐；系统上线后，测试分布会长出训练时没见过的边角。以零售冰柜的“有货 / 缺货”识别为例，玻璃上的雾气、挡在镜头前的人，或把商品推到前排的理货装置，都可能让模型失效。

这些问题不是简单加几层网络就能解决。视线被完全遮住时，模型没有可供推断的信息；而“理货装置看起来像商品，却对应缺货状态”又迫使团队重新讨论类别和本体定义。模型失败的地方，常常先暴露的是数据和任务定义的缺口。

更麻烦的是，数据会过期。即使收集了海量用户操作轨迹，只要 Salesforce 一类软件改变界面，旧截图和旧路径就可能不再对应新的环境。Chaubard 因此强调，数据集和强化学习环境不是装进压缩包便一劳永逸的素材，而是需要持续维护的产品。

02

专业数据，更像一层“应用生态”

要让语言模型成为可靠的医生、会计、律师、交易员或治疗师，仅有通用语料并不够。很多任务需要可验证的强化学习环境；另一些任务没有唯一答案，还需要专家对设计是否可用、代码是否易维护、医疗方案是否合适作出偏好判断。

Chaubard 用手机应用作比喻：操作系统可以提供底层能力，但叫车、送餐和导航仍由不同应用深入完成。类似地，基础模型平台未必需要分别重建每一个专业领域的数据网络、专家社区和合规流程；一批专注于垂直领域的团队，可以把这些能力做成可复用的专业层。

这不是对市场格局的预言，而是一种观察数据产业的方式。数据的价值不只在“数量”，还在谁能持续获得专业反馈、把真实工作环境建出来，并在规则变化后及时更新。

03

把专家脑中的判断，变成可扩展的监督

Vincent Sunn Chen 把早期的数据工作称为“Data 1.0”：点赞或点踩、简单的问答对、一次只需几十秒的人类标注。问题在于，每新增一个样本，就要新增一份认知劳动；为了降低噪声，还要让多人重复标注。一旦任务规范或标签体系变化，团队往往又得从头开始。

在医疗等专业领域，这个瓶颈会被放大。世界上只有有限数量的心脏科专家，他们不可能无限地逐条标注 MRI 或电子病历。更关键的是，传统标签只留下答案，不留下专家为何这样判断的依据，数据的来源与推理过程也难以审计。

Snorkel 早期“数据编程”的思路，是把专家规则写成标注函数。例如，专家不再逐封判断邮件是否为垃圾邮件，而是把自己使用的线索编码成一组可重复运行的启发式规则。软件由此带来规模、可修改性和可审计性。

这些规则会相互重叠，也会出错。Chen 介绍的弱监督方法，会在没有完整标准答案的情况下估计不同信号源的可靠程度，再把去噪后的概率监督交给能够感知噪声的模型。它并没有消灭专家，而是在努力把专家有限的时间变成可以重复使用的判断结构。

到了“Data 2.0”，监督对象又变了。智能体面对的不只是一个问答，而是包含任务、评分标准、验证器和工具的完整世界；一个 Docker 环境可能需要专家投入数小时甚至更久才能搭好。此时的核心问题已经从“怎样多标一点”，变成“怎样放大专家定义好任务、好答案与好验证的能力”。

04

不能用初级工程师的考题，评估高级智能体

Chen 以编程智能体为例指出一个错位：团队已经让智能体承担架构调整、大范围重构等高级工程工作，却仍用高度明确、步骤写得很细的任务来评估它们。这类基准更像在考初级工程师，难以回答“我是否敢让它在代码库里独立工作”。

Senior SWE-Bench 因而把任务设计得更接近真实协作：一条高层需求、一段日志，或几条用户故事，要求智能体自己理解问题空间。评估也不只看代码能否运行和合并，还要看改动是否符合代码库惯例、是否引入不必要的膨胀，以及是否体现资深工程师所谓的“品味”。

难点在于，可靠性与灵活性往往拉扯。预先写好的单元测试会真实执行代码，因此可靠，却可能把不同但正确的实现误判为失败；让大模型直接当裁判更能适应多种解法，却可能只看表面，奖励“看起来合理、实际上跑不通”的代码。

Snorkel 的折中方案是“验证智能体”。专家先写一份简短的验证规范，列出用户故事、功能要求和非功能要求；验证智能体再根据候选补丁和规范生成确定性测试，真正运行相关代码路径，随后用额外检查识别串谋、奖励作弊等异常。

这套方法仍需要校准，也没有让评测变得毫无争议。它提供的关键启示是：好的基准不是一张静态试卷，而是一套把专家判断、可执行验证和现实任务持续接起来的研究基础设施。

05

扩散模型可以更快，但速度并不自动带来可靠性

Volo Kuleshov 随后把话题转向扩散语言模型。传统自回归模型从左到右一次生成一个 token；扩散语言模型先从一个带噪的序列出发，再经过多轮并行修正，同时更新多个 token。

在 Kuleshov 展示的 Inception 结果中，Mercury 2 可以达到每秒 1000 个以上 token。他认为，这种速度对实时语音尤其重要：常见语音智能体由语音转文字、语言模型、文字转语音三段串联，中间的语言模型常成为延迟瓶颈。生成更快，既可以让对话更自然，也可以把省下的时间交给更大的模型或更长的推理。

但这场演讲真正想说明的，不是“换了算法就够了”。Kuleshov 指出，常用的 Tau-bench 一类环境，比真实客户服务系统的规则、工具和例外更简单；一些模型在公开基准上已经拿到很高分，放到真实生产日志上，得分却明显下降，模型之间的差距也重新显现。

换句话说，速度解决的是“多久给出答案”，代表性数据才更接近“答案在真实世界里是否有用”。算法与数据不是二选一：前者打开新的速度边界，后者决定这种速度能否转化为生产质量。

06

从真实日志到训练任务：TauForge 的闭环

Inception 为此搭建了一个名为 TauForge 的智能体系统。它接收目标领域的描述，以及可选的真实使用痕迹，例如呼叫日志；随后生成该领域的策略、工具、初始状态和小型数据库，构成可交互的强化学习环境。如果没有真实日志，系统也会借助从公开网络资料整理出的业务知识图谱来补足领域背景。

接下来，TauForge 将抽象场景、人物设定和“加难陷阱”组合到具体环境中。一个抽象任务可能是开户、关闭账户或修改电话号码；落到银行环境后，它会变成带有具体规则、用户身份和可验证结果的交互任务，再由模拟用户与模型完成对话。

任务太容易，模型每次都答对，几乎没有新的学习信号；任务太难，同样无法提供有效反馈。系统因此会反复筛选、修改或加难，例如拿掉一部分信息、增加约束，让任务保持真实，同时处在模型“有机会学会”的区间。

最后，环境和任务接受人工复核；模型上线后的真实反馈又会回流，用来更新生成流程。Kuleshov 报告称，在他们的一组实验里，Mercury 2.5 预览版接受 TauForge 任务训练后，在另一组未用于训练的业务环境上，准确率提升超过 23%。这个数字来自 Inception 的演示，但它所表达的方法更值得注意：合成数据的价值，不在于脱离现实批量制造样本，而在于由真实使用持续约束，并通过留出环境检验泛化。

07

多语言训练里，“数据量”不是一个数

最后一场演讲中，Shayne Longpre 把视角拉到英语之外。他指出，现有缩放定律和数据混合研究绝大多数围绕英文训练与英文评测展开；然而，面向全球用户的模型必须回答另一类问题：低资源语言的数据少，应该重复训练、从多语言模型微调，还是从零预训练？

他用泰语举例。在 MADLAD-400 语料中，泰语 token 数大约只有英语的 0.6%。把泰语放进一个大规模多语言混合里，它可能只占很小一片；只用泰语训练，又会很快把有限语料重复多轮，出现边际收益递减和过拟合。

更合理的方案不是在“全混合”和“纯单语”之间二选一，而是让目标语言占据足够权重，同时加入真正有帮助的其他语言。这里的“有帮助”不能只靠语言学直觉判断：同属一个语系未必就能带来最大的迁移，网络语料的质量、主题覆盖和分词方式都会影响结果。

08

把语言之间的帮助与干扰，测量出来

ATLAS 项目通过大量双语训练曲线，构建跨语言迁移矩阵。做法可以粗略理解为：比较“只用泰语训练”和“泰语加另一种语言训练”的学习曲线，观察第二种语言让目标语言学得更快，还是带来竞争与干扰。

这张矩阵揭示了三个重要现象。第一，迁移与模型容量有关：模型更大时，更多语言能共享表示、产生协同；模型很小时，不同语言更容易争夺有限容量。第二，迁移不对称——A 帮助 B，并不意味着 B 会同样帮助 A。第三，在这组实验中，共享文字系统和共享语系都与正迁移相关，文字系统的解释力略强，团队推测分词方式是原因之一。

有了迁移矩阵，传统的 Chinchilla 式缩放关系也需要扩展。只用一个总数据量 D，无法解释一个法语模型究竟看过多少法语、多少高协同语言，以及多少几乎不相关的其他数据。ATLAS 将目标语言、近迁移来源和其他来源拆开，并把有限语料重复多轮后的收益递减纳入计算。

最终，它把抽象研究转成几类实际选择：给定算力，应怎样配语言混合和模型规模；增加支持语言时，模型与总数据需要扩大多少；已有强大的多语言检查点时，什么时候微调更划算，什么时候从头预训练才可能在长期超过它。

结语

数据不是模型之外的准备工作

四场演讲讨论的是不同对象，却拼出了一条完整链路：从生产失败中发现缺失的数据，把专家判断编码成可扩展监督，用更接近真实工作的环境评估智能体，再让生产反馈回流训练；当数据来自多种语言或领域，还要测量它们之间的协同与干扰，而不是把所有 token 当成同质原料。

这也改变了“做数据”的含义。它不再只是模型训练前的一次清洗，而是一套贯穿任务定义、专家知识、评测设计、环境生成、上线反馈和资源配置的持续工程。

当架构越来越通用、推理越来越快，下一轮真正拉开差距的，也许不是谁先堆出更多 token，而是谁更早看清：什么数据能代表现实，什么判断值得放大，以及什么反馈必须不断回到系统里。

如果这篇文章对你有启发

欢迎「点赞」「转发」「推荐」

也欢迎在评论区留下你的看法

— 完 —

✦ 点亮星标 ✦

和 GADE 一起追踪 AI 与科学的下一步

如果你也想和一群认真关注 AI 与科学的人继续交流

欢迎加入 GADE 社区

一起阅读前沿、交换观点、分享实践

可通过 GADE 官网公布的邮箱联系我们或直接在公众号后台留言咨询