AI个体强,那组队就一定更强吗

论文解读 · 人机分工 · AI侧

AI 生成的原创概念插画

两位同事组队做题，一个擅长查细节，一个擅长识别大方向。招人时，当然可以各自挑成绩最高的。但真正一起工作，成绩还取决于他们会不会在相同地方出错，以及难题究竟交给谁。

人和 AI 的组合也一样。一个模型独自做题更准，加入团队以后未必最合适。它可能恰好在你已经很熟练的部分提高了一点，却在你最需要帮助的地方继续犯错。

Learning to Complement Humans 把这个问题放进了训练目标。它要求机器学习怎样与人的能力配合，连“什么时候请人来判断”也一起训练。论文发表于 IJCAI 2020，由 Bryan Wilder、Eric Horvitz 和 Ece Kamar 合作完成。

论文信息｜约12至16分钟阅读Learning to Complement HumansBryan Wilder、Eric Horvitz、Ece Kamar。IJCAI 2020，1526至1533页。本组 AI 侧文章关注预测与查询策略的联合训练；配套 HCI 文章讨论 LookOut 如何把询问、等待和接管放进界面。

单人冠军，未必是最合适的队友

通常训练分类器，会让它根据输入预测标签，再对错误施加惩罚。目标很明确：在没有别人帮助的情况下，尽量答对。

但当系统允许向人求助，任务就变了。机器既要预测，也要判断是否值得获取人的答案。假如某些样本它总是会交给人，而人又很擅长处理，那么把有限的训练能力继续投入这些样本，可能不如加强机器必须独自处理的部分。

可以用一个虚构的文档分类例子理解。老员工很擅长识别格式特殊的历史文件，模型则擅长处理数量巨大的常见格式。团队不一定需要把模型训练成“什么都和老员工一样”，更可能需要它稳定承担常见任务，并把少数特殊情况找出来。这个例子只解释分工，不是论文实验。

难点在于，分工本身也要学习。不能先假设某一类文件永远由人负责，再宣称达成了互补；也不能把模型没有把握的情况一律交给人，因为人未必更有把握。

数据里，需要人的答案

论文的训练样本除了输入 x 和参考标签 y，还包含人的历史判断 h。这使系统可以看到，人会在哪些情形答对、在哪些情形犯错，以及这些错误与机器的错误有何关系。

部署时，机器先看到输入，再决定要不要支付一个查询成本来获取人的判断。这个成本可以抽象地表示时间、劳动或其他负担。查询之后，系统使用人的信息形成最终预测；如果没有查询，就自己回答。

目标因此包含两项：判断质量，以及为获得人的帮助所付出的成本。论文也允许不同错误具有不同代价。例如，一类错误的惩罚可以比另一类更高，而不必把所有错误都当作同一分扣掉。

这个设定已经说明了适用边界。人类判断记录必须与未来会合作的人和任务有足够关系。如果训练记录来自熟练专家，实际求助对象却是第一次上手的新员工，那么学到的分工可能已经不对了。

固定模型以后再分工，与从一开始一起学

作者比较了两种训练安排。固定方案先把预测模型训练好，再学习何时请人协助；预测模型本身不会因为最后由谁处理样本而改变。

联合方案同时调整预测模型和查询策略。某些样本越来越多地交给人，模型便可以把注意力转向自己负责的部分；反过来，模型能力变化，也会影响怎样分工。

这里的“注意力”是训练侧重的通俗说法，不是指 Transformer 的 attention 模块。这篇工作研究的是协作目标，不以某一种大语言模型结构为前提。

为了实现联合学习，作者给出了判别式与决策理论两类方法。前者直接从输入学习预测及查询决策；后者显式估计人的回答可能带来多少额外价值。两类方法都可以各自比较固定训练与联合训练，因而不把所有差别都混在一个新系统名称里。

训练时可以“半次求助”，实际使用时不行

查询决策最终是离散的：要么请人，要么不请。但这样的开关不容易直接用于梯度训练。判别式联合方法因此先让查询策略输出连续数值，将人和机器的预测以软组合形式放进损失函数。

可以把它理解成训练时先试探分配比例，等到运行时再做明确选择。作者发现，一个直接混合两边损失的形式训练不够稳定，转而先混合预测，再计算损失，使学习信号更平滑。

部署时也不能简单照搬“查询分数大于0.5就问人”。论文给出的规则还考虑机器对自身预测的把握。在同样的查询倾向下，如果模型本身已经很犹豫，请人的理由就更强。

判别式方法的一个实验简化也值得交代：请人之后直接采用人的回答。更一般的框架可以再融合人与机器信息，但本文在这一简化下观察到了较好的效果。读者不应由此推导出“任何情况下都该以人说的为准”。

多得到一个答案，到底值多少

决策理论方法使用信息价值，也就是 value of information。系统比较两条路径：不问人时，自己能达到怎样的预期效用；问了以后，根据可能收到的回答调整判断，预期效用能提高多少，再扣除查询成本。

关键在“可能”。作出查询决策时，系统还不知道人会回答什么，因此要估计不同回答出现的概率，而不是偷看答案以后再决定请不请人。这个时间顺序对实现与评价都很重要。

论文为真实标签、人的回答，以及在获知人类回答后如何判断真实标签建立概率模型，并通过校准使概率更适合效用计算。一个分类分数看起来像百分比，并不自动代表它可以可靠地用于这类决策。

联合版本把相关模型连接起来训练，同时定期更新校准。它保留了信息价值分析的结构，又让各部分根据团队表现调整。这比给一个固定分类器加上“不确定就转人工”的阈值，多改了一层目标。

实验一：星系的形状，人和机器各有盲区

Galaxy Zoo 任务将星系图像分成五类。研究使用10,000个训练样本和4,000个测试样本；一位志愿者的标签作为人的判断，多于30位志愿者的共识作为参考标签。

这些“人”并不是本次实验中围坐在模型旁边即时协商的参与者。作者利用既有判断记录模拟查询，考察不同训练与分配方法能够怎样组合这些信息。多人的共识也属于研究中的参考标准，并非对所有图像都绝对无误的宇宙真相。

结果中，模型容量较小时，联合训练的优势更明显。例如，单层信息价值模型在不同查询成本设置下，总损失相对固定方案降低约21.8%至73.3%。这里的总损失包含分类错误和查询成本，这个区间不是准确率提高了同样多的百分点。

更有解释力的是分类别观察。数据中一个类别占了七成以上样本，其他较少见类别的错误结构不同。联合训练改变了系统在哪些类别、哪些区域请人，也改变了机器自身的错误分布。某一类上，模型单独表现更差，组合之后却更好。

实验二：病理数据中的分工，不能直接当作临床部署

另一项任务使用 CAMELYON16 数据，判断淋巴结切片是否存在乳腺癌转移。127张图像具有病理医生小组的判断记录；另外270张没有相应小组回答的图像用于预训练。参考标签来自不受时间限制的专家判断，而模拟查询使用的是受时间压力影响的小组回答。

系统先利用图像网络获得局部预测，再从热力图提取特征，交给协作模型。实验因而不是将一张图直接发给任意现代视觉大模型，也不能拿这里的数字评价今天的通用 AI 医疗产品。

作者观察到，模型能力受限时，联合训练更容易带来收益；增加模型容量后，一些配置的提升变得很小。在把漏判代价设为误报两倍的实验里，重视团队互补也更有价值，因为系统需要优先减少代价更高的错误。

论文图中还有一个直观例子：人的大量错误集中在少量样本区域，联合模型加强了那里，同时在另一些人擅长的区域有所退让。不过，这个局部图示不能取代总体评价，也不表示未来样本上的相同区域一定保持零错误。

样本规模限制了统计证据。作者在图注中说明，病理任务的一些信息价值方法比较没有达到常见的显著性标准。正文中读到“改善”时，需要同时看它是数值差异、相对损失变化，还是有统计支持的结论。

真正的同事，不是一张固定标签表

把人的答案预先记在数据里，让方法能够被清楚比较，也把许多交互问题暂时放到了实验之外。一个人持续接到机器转来的难题，可能会疲劳；如果只接触少数类型，经验也可能变化。

人看到机器建议之后再作答，答案还可能受到影响。而本文使用历史判断来模拟查询，不能直接预测这种相互影响。这也是本组 HCI 侧文章值得一起读的原因：分工策略决定找谁，交互设计还要决定怎么找，以及对方接到工作后究竟看见什么。

对工程团队，复现这条路线首先需要明确数据与决策时序。人的答案必须作为查询后才获得的信息；成本设置、校准方法和对照方案应写清楚。否则，一个看起来聪明的分流器，可能只是提前使用了本不该拥有的答案。

还需要评估分流以后的工作负担。减少查询次数并不一定减少同等比例的劳动：留下的可能都是最难、最费时间的任务。这是面向部署的进一步问题，原论文的统一查询成本并没有把它全部解决。

怎样接着读这篇工作

IJCAI 的官方入口提供完整论文。原文第3至4节给出了目标函数和两类训练方法，第5节可对照图2至图4阅读结果。论文引用了病理图像处理实现作为基础，但本次未确认一个包含全部协作训练流程、可直接运行的作者代码仓库，因此不把第三方实现写成官方复现包。

这篇工作的价值，在于把“找一个与人互补的模型”变成可以训练和比较的目标。接下来选模型时，除了看它自己答对了多少，也可以把人的错误摊在旁边：它补上的，究竟是不是团队真正缺的那一块。

IJCAI 2020 正式出版记录与全文^[1]

Learning to Complement Humans 论文PDF^[2]

Eric Horvitz：研究与出版入口^[3]

作者：Seminar of HCI。资料核对：2026年10月22