AI越来越能干，我们会不会越来越不会判断？

当AI智能体开始自主搜索、调用工具、修改文件、执行代码，甚至连续完成一整套任务时，我们通常会给它加上一道“保险”：

让人留在环路中。

也就是所谓 Human-in-the-Loop（HITL）——AI可以自主行动，但关键节点仍由人来检查、批准、纠正和接管。

听起来很合理。

但一篇题为 AI Agents Push Humans Out of the Loop 的论文提出了一个更棘手的问题：

如果AI越自主，人反而越难真正理解它正在做什么，那么“人在环路中”还意味着有效监督吗？

这篇论文由 Hugging Face 的 Margaret Mitchell、Avijit Ghosh 与 Data & Society 的 Samir Passi 撰写。需要说明的是，它是一篇立场论文（position paper）：作者并不是通过单一实验得出结论，而是在自动化、人机交互、认知科学与AI治理等既有研究基础上提出一个核心主张——

当前不少AI智能体的设计，并没有真正支持有效的人类监督，甚至可能在长期使用中削弱监督所依赖的注意力、情境意识、批判判断和专业能力。

这篇论文真正讨论的，其实不只是AI安全。

它追问的是一个更深的问题：

当AI越来越会“自己做事”之后，人还能不能真正知道它做了什么、为什么这样做，以及什么时候应该叫停？

一、“人还在环路里”，不等于“人真的在监督”

今天很多AI系统都会提醒用户：

请检查输出。请核实重要信息。请确认关键操作。请在执行前批准。

表面上看，人仍然拥有最终控制权。

但论文指出，把监督责任交给用户，并不等于用户具备完成监督的条件。

传统AI系统往往只产生一个预测、一个评分或一个答案，人的任务主要是判断：

这个结果对不对？

到了生成式AI阶段，监督已经明显复杂化。用户需要处理更长、更快生成的输出，还要识别幻觉和不稳定能力。

而Agentic AI又向前走了一步。

AI智能体不再只是“回答”，而是会：

规划 → 调用工具 → 执行动作 → 读取结果 → 修改计划 → 继续执行。

它还可能访问外部服务、修改文件、操作软件、发起交易，甚至在多智能体环境中与其他Agent协作。于是，人面对的不再只是一个结果，而是一条持续展开、不断变化的行动链。

这意味着，监督问题发生了根本变化：

过去是：

“这个答案可靠吗？”

现在变成：

“这个Agent刚才做了什么？为什么这么做？下一步准备做什么？我现在是否应该阻止它？”

而这些问题，并不容易回答。

二、真正的问题，是人越来越难“看清这个环路”

论文中有一句话特别值得记住：

“Human-in-the-loop” is only a meaningful solution if the human can independently see into the loop.只有当人能够独立看清这个环路时，“人在环路中”才真正有意义。

这句话点出了Human-in-the-Loop最容易被忽略的问题：

人在流程里，不等于人理解流程。

一个Agent运行时，监督者可能需要同时掌握：

• 它当前的目标；
• 已经执行了哪些动作；
• 调用了哪些工具；
• 为什么改变原来的计划；
• 哪一步可能有风险；
• 哪些结果已经不可逆；
• 下一步可能产生什么后果。

论文指出，真正有效的监督要求人维持一个持续更新的心理模型（mental model）和足够的情境意识（situational awareness）。

但问题在于，Agent产生的信息往往又长、又快、又分散。

于是，一个看似简单的“是否允许继续？”背后，其实可能隐藏着相当高的认知负荷。

三、当“批准”越来越多，人就可能越来越少思考

论文特别讨论了一个很有现实感的现象：

Approval Fatigue——批准疲劳

当Agent不断弹出：

“是否允许访问？”“是否允许执行？”“是否允许修改？”“是否允许继续？”

用户一开始可能会认真检查。

但随着批准次数增加，人的注意力会逐渐下降。

论文指出，这种情况下，用户可能从真正的判断者，慢慢变成一个机械的approver——批准者。

这就是为什么：

增加更多确认按钮，并不一定意味着增加更多安全。

如果每一次确认都需要人重新理解上下文、判断风险、预测后果，那么大量确认本身就可能制造疲劳。

最终，“人在环路中”可能退化成：

人在不停地点“同意”。

于是便出现一个非常重要的区分：

“有人批准” ≠ “有人理解”“有人检查” ≠ “有人真正判断”

这可能正是AI Agent时代Human-in-the-Loop最大的认知盲区之一。

四、更深的悖论：监督AI，本身可能让人越来越不会监督

如果问题只是界面复杂，其实还不算最严重。

论文真正具有冲击力的地方在于，它把讨论推进到了另一个层面：

长期使用自动化系统，可能削弱人类进行监督所需要的能力。

作者综合既有研究，讨论了多个相关概念：

deskilling —— 技能退化intuition rust —— 直觉生锈cognitive dependence —— 认知依赖cognitive debt —— 认知债务cognitive surrender —— 认知让渡

这些概念虽然来自不同研究传统，但共同指向一个问题：

当越来越多认知工作被交给AI之后，人练习判断、推理、验证和形成专业直觉的机会也会减少。

这就形成了一个悖论：

为了提高效率，我们把更多工作交给AI；

AI做得越多，人自己做得越少；

人自己做得越少，能力越可能生疏；

能力越生疏，就越难有效监督AI；

越难监督，又越容易进一步依赖AI。

于是，监督和能力退化之间可能形成一个不断自我强化的循环。

五、“监督会削弱监督者”：自动化最尖锐的讽刺

论文借用了自动化研究中的经典概念：

The Irony of Automation——自动化的讽刺

自动化系统越强，人越少需要亲自操作。

但真正需要人接管的，往往恰恰是：

罕见的、复杂的、异常的、高风险的情况。

偏偏这些情况最需要经验、熟练度和情境意识。

问题就在这里。

平时系统正常运行时，人越来越少练习；

真正出问题时，却突然要求人立即成为最后一道防线。

于是作者给出了全文最有力量的一句话之一：

“Oversight degrades the overseer.”“监督本身正在削弱监督者。”

这句话并不是说“所有AI监督都会必然降低人的能力”。

它表达的是作者的核心警告：

如果监督机制设计不当，那么长期处于被动监督状态，本身就可能侵蚀有效监督所需要的能力。

这也是为什么问题远比“加一个人工审核环节”复杂。

六、AI最需要人的时候，可能恰恰是人最没有准备的时候

这就是自动化研究中所谓的：

Out-of-the-Loop Problem——脱离环路问题

人在高度自动化系统中逐渐从主动执行者变成被动监控者。

随着直接参与减少，情境意识下降。

但系统一旦失败，又要求人迅速重新进入环路，并做出高质量判断。

论文指出，AI智能体正在放大这种经典自动化问题。

人在表面上依然拥有接管权，但由于长期缺少直接参与，可能已经无法迅速理解：

系统为什么失败、失败发生在哪里、现在应该怎么补救。

这使得未来AI安全真正需要追问的，不只是：

“最后有没有一个人点击确认？”

而是：

“这个人是否仍然有能力作出独立判断？”

七、还有一个更隐蔽的问题：低质量监督可能反过来塑造AI

论文进一步指出，监督能力下降还有一个容易被忽略的后果。

今天很多AI系统会利用：

• 用户批准；
• 完成率；
• 用户满意度；
• 评分；
• 行为反馈；

来判断系统表现如何。

问题是：

如果人的判断本身已经变得草率，这些反馈还可靠吗？

一个高度警觉的监督者可能会：

要求更多证据，发现计划漏洞，拒绝批准，指出潜在风险。

而一个疲惫、过度依赖AI的监督者，则可能因为解释听起来流畅、结果看起来合理，就迅速点击“通过”。

如果系统把这种批准当作“成功信号”，就可能形成一种危险的反馈：

系统越来越善于让人快速接受，而不一定越来越善于让人认真判断。

论文把这种风险与人类反馈质量下降联系起来：当监督质量下降，送回系统的反馈信号本身也会变差。

因此：

用户喜欢，不等于系统可靠。用户批准，也不等于监督有效。

这是AI时代一个非常重要的区分。

八、解决办法不是简单地“多提醒用户认真检查”

论文并没有因此得出：

“AI Agent不能用。”

作者真正提出的是另一条思路：

Cognitive Scaffolding——认知支架

也就是说：

如果我们要求人承担监督责任，那么AI系统本身以及使用AI的组织，就必须主动保护人的监督能力。

不能一方面要求人保持警觉，

另一方面却设计一个不断消耗注意力、削弱技能、诱导快速批准的系统。

作者提出的方案主要分为两个层面：

开发者负责系统设计；部署者负责组织环境。

论文第7页和第21页的框架图特别清楚地呈现了这一思路：解决方案既包括当下如何让人认真参与监督，也包括长期如何维持人的监督能力。

九、有时候，“增加一点摩擦”反而更安全

论文提出了一个非常值得关注的概念：

Strategic Friction——战略性摩擦

今天的AI产品往往追求：

更快、更顺、更少打断、更少点击。

但论文提醒我们：

在高风险决策中，过于顺滑未必是一件好事。

有些地方，人反而需要被“迫使”停下来想一想。

例如：

在看到AI判断之前，先记录自己的判断；

在关键决策前，系统主动问：

“What evidence would change your mind?”“什么证据会改变你的判断？”

或者：

“What assumption does this approval rest on?”“这次批准建立在什么假设之上？”

这样的设计并不是为了降低效率，而是为了重新激活人的批判性思考。

因此，一个很有意思的设计原则出现了：

最好的AI未必总是最“无摩擦”的AI。

在真正需要判断的地方，

适度的认知摩擦，反而可能是在保护人的判断能力。

十、不是每一步都让人批准，而是把人的注意力留给真正重要的地方

作者同时提出了另一个关键原则：

Decision Design——决策设计

人的注意力是有限资源。

既然如此，就不应该让监督者把精力浪费在大量低价值确认上。

例如，可以：

• 提前划定Agent可以自主执行的范围；
• 只把真正高风险的节点交给人；
• 将连续操作整合成批量审核；
• 先由系统完成机器可验证的检查；
• 用界面主动突出真正需要人判断的地方。

论文把这种做法称为 bounded autonomy——有限自主。

核心不是：

“AI能不能自主？”

而是：

“什么事情可以自主，什么事情必须让人介入？”

这其实也是AI Agent治理中一个非常现实的问题：

不是让人无时无刻盯着AI，

而是让人在真正重要的时候保持清醒。

十一、更重要的是：别让组织里最后没人真正懂这项工作

论文还提出了一个可能比界面设计更深层的问题：

如果所有基础工作都长期交给AI，那么组织里还会不会有人真正掌握这些技能？

作者因此建议：

定期让员工在没有AI帮助的情况下完成基础任务；

持续进行专业技能训练；

训练员工识别“表达流畅但其实错误”的AI输出；

培养对自身注意力下降和认知偏差的觉察；

合理安排休息与轮岗；

避免一个人长期进行机械化审核。

这背后有一个非常重要的组织问题：

如果未来没有人真正会做这项工作，那又由谁来监督AI做得对不对？

所以，AI能力建设不能只关心：

AI还能替人做多少？

还需要同时关心：

哪些能力必须留在人身上？

十二、真正的问题不是“Human in the Loop”，而是“人是否仍有能力监督”

这篇论文最值得传播的地方，是它改变了我们对Human-in-the-Loop的理解。

过去，我们很容易把它当成一个流程设计问题：

只要最后还有一个人，就算有监督。

但这篇论文提醒我们：

监督不仅是一个位置，

更是一种持续维持的认知能力。

真正有效的监督需要：

情境意识、专业知识、批判判断、适度怀疑、持续注意，以及在关键时刻接管系统的能力。

如果这些能力在长期使用AI的过程中不断下降，那么即使流程图里仍然画着一个“Human”，这个人也可能只剩下形式上的存在。

论文结论中的判断非常鲜明：

“In the current state of the art, oversight degrades the overseer.”“就当前技术状态而言，监督正在削弱监督者。”

所以，AI Agent时代真正需要设计的，并不只是：

如何让AI越来越强。

还包括：

如何让人在AI越来越强之后，依然保持理解、质疑和否决它的能力。

这或许才是“人在环路中”真正应该讨论的问题。

结语：真正的人机协同，不是“人永远点确认”

AI Agent正在让机器拥有更强的自主执行能力。

这当然会带来效率提升，也会让越来越复杂的任务可以自动完成。

但如果自主性不断提高，而人的理解能力、专业技能和情境意识不断退出，那么所谓Human-in-the-Loop最终可能只剩下一种形式：

人在，却没有真正参与。

这篇论文最重要的提醒就在这里：

不要只设计更有能力的AI，也要设计能够保护人类能力的人机系统。

因为真正可靠的人机协同，并不是让人永远坐在AI旁边点击“Approve”。

而是确保在关键时刻，

人仍然看得懂、判断得出，也有能力说“不”。

论文信息

Margaret Mitchell, Avijit Ghosh & Samir Passi.AI Agents Push Humans Out of the Loop.Hugging Face & Data & Society, 2026.