夜雨聆风学习资料网

ARTICLE · 1199008

AI先别说,让我自己想一遍

AI先别说,让我自己想一遍

AI与人的判断力 · 上篇 · CSCW 2021

AI 生成的原创概念插画

一张食物照片,两个下拉框。先选出盘子里碳水化合物最多的食材,再找一个碳水更少、风味又尽量接近的替代品。

如果旁边的 AI 已经列好推荐,还附上“碳水减少多少”“风味相似度多少”的解释,这道题看上去会轻松不少。问题在于,它可能连盘子里有什么都认错了。后面的推荐排得再整齐,也是在认真解决另一道题。

2021 年,Zana Buçinca、Maja Barbara Malaya 和 Krzysztof Z. Gajos 用这个任务研究了一件很具体的事:把 AI 的答案稍微晚一点交给人,或者先让人独立作答,能否减少跟着错误建议走的情况?

他们发现,改变建议出现的方式,确实能在部分指标上减少盲从。但有两个结果需要一起看:人没有因此在所有题目上做得更好,也没有因为加了一道思考步骤,就彻底摆脱错误建议的影响。

这组文章都在讨论 AI 与人的判断力。上篇先看建议出现的时机,下篇再看一项 CHI 2026 研究:当人已经给出了判断,AI 能否进一步检查他的理由。两篇可以分别阅读,也可以连起来看交互设计怎样一步步介入判断。

论文信息|约 12 至 18 分钟阅读To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-makingZana Buçinca、Maja Barbara Malaya、Krzysztof Z. Gajos。发表于 Proceedings of the ACM on Human-Computer Interaction,2021 年 CSCW1,文章 188。这是对一项往届研究的回读,实验使用模拟 AI。

论文全文[1]

有了解释,为什么还会跟着错

给 AI 配解释,有一个很合理的期待:用户看懂它为什么这样建议,就能在理由不成立时拒绝它。可是,解释出现在屏幕上,与解释被认真检查过,中间还隔着人的注意力。

这篇论文借用双加工理论来理解这个问题。人有时会快速使用经验与线索,有时会投入更多精力逐项分析。作者并没有把快速判断一概视为坏事。熟练工作本来就依赖经验,谁也不会每天早上对烧水步骤做一次系统综述。

困难出在某些线索会被用来代替具体检查。推荐下面有图表、百分比和一段完整理由,人可能由此觉得系统很专业,却没有继续核对:这一次,它认出了正确的食材吗?

这是作者提出的机制解释。实验没有读取参与者脑中正在运行哪种思维过程,也没有证明每一次错误都来自同一种心理原因。它实际操纵的是界面与建议出现的方式,再观察人最后怎样选择。

在食物任务里,这种区别尤其直观。假如 AI 漏看了真正需要替换的食材,它仍可以给另一个食材列出很像样的替代方案。用户只检查“这个替代品是否相似”,可能始终没有回到更早的问题:为什么要替换它?

三种安排,让答案别那么快占据屏幕

作者设计了三种认知强制方式。这个名字听起来像要把用户绑在椅子上思考,实际都是很小的界面变化。

第一种是按需查看。AI 建议默认隐藏,用户想看时,点击按钮调出来。它保留了拒绝帮助的空间,也把“我现在需要建议”变成一次主动选择。作者把它视为较轻的一种干预,因为人仍然可以几乎立刻点开答案。

第二种是先答再改。用户必须先完成自己的初始判断,然后才能看到 AI 的建议和解释,接着决定是否修改。这种流程给比较留下一份明确的参照:我原先选了什么,现在为什么要改?

第三种是等待。界面先显示“AI 正在处理图像”,30 秒后再给出建议。作者希望这段等待能促使用户形成自己的想法。它与先答再改的区别在于,等待并不要求用户交出一个初始答案。人在这 30 秒里究竟做了什么,界面无法保证。

三种条件最后提供的建议和解释,与直接展示建议的条件相同。研究主要改变的是获得建议的过程,让人有机会先判断、主动请求或稍作停顿。

实验中的三种认知强制安排按需查看:自己点击按钮,才出现 AI 建议。先答再改:先提交独立判断,再看建议并决定是否调整。等待:延迟 30 秒,再展示建议与解释。三种方案在主要分析中被合并成一类;结果没有证明其中某一种是明确的优胜者。

尤其不能把第三种照搬成“软件越慢,人越聪明”。实验中的固定延迟,是一种用来检验假设的安排。产品如果为了让人思考而故意转圈,还宣称自己正在计算,用户未必愿意陪它演完这场戏。

同样,先交一个答案也不等于必然认真思考。用户可能先随便选一个,以便尽快看到建议。流程提供了机会,机会是否被用上,还要看任务、动机和界面怎样配合。

199 人做的,到底是哪一道题

研究最初招募了 260 位美国成年参与者,通过 Amazon Mechanical Turk 在线完成任务。排除未按任务要求作答者,以及只参加了本文未报告的探索条件者后,主要分析保留 199 人。

每人完成两组题,每组 13 道,第一道用于熟悉界面,不计入分析。参与者体验两种条件。论文报告的六种条件包括无 AI、直接给建议和解释、额外提示不确定性,以及刚才的三种认知强制设计;它不是让每个人把六种界面全部试一遍。

不确定性条件也有一个细节:它是在系统不确定时显示置信度提示,并非每道题都固定多放一个百分比。把它简化成“有无信心分数”的比较,会略掉这一层触发规则。

任务需要作出两个选择。先找出最该替换的食材,再从候选中选替代品。研究把碳水减少与风味相似度结合起来,定义实验里的最佳替换。风味相似度来自食材风味分子的数据库与相应计算,并不是让参与者现场吃完后评分。

因此,这里的“正确”有一个人为确定的评分标准。它适合用来比较界面条件,不代表论文替所有人决定了怎样吃才合适。口味、过敏、烹饪方式等现实考虑,都不在这道受控题目的完整范围内。

AI 也经过了特别安排。作者没有为这项实验训练一个真实的食物识别模型,而是构造了一个模拟系统,让它在识别最高碳水来源时有 75% 的准确率。错误发生时,它会漏认真正的最高碳水食材,转而推荐替换第二高的那个。

这种安排让不同条件下的错误类型与出现比例可控。它测试的是人在固定建议质量下如何回应,而不是哪种机器学习算法更擅长认菜。75% 也不应被写成今天某个 AI 产品的表现。

把 AI 答错的题单独拿出来,差别才出现

如果把所有题目放在一起,两类 AI 辅助都比完全没有帮助表现更好。论文报告的整体最佳替换比例,经过模型调整后,无 AI 约为 17%,简单解释类约为 35%,认知强制类约为 33%。

后两者之间没有显著差异。也就是说,这项研究没有支持“加上认知强制,整体任务表现就进一步提高”的假设。看到认知强制这个名字,很容易期待它会把所有成绩向上推,数据却没有这样整齐。

但只看 AI 给错建议的题,结果发生了变化。简单解释类的整体最佳替换比例约为 3%,认知强制类约为 9%;识别正确碳水来源的比例,则从约 8% 提高到约 27%。这些差异达到统计显著。

这里的数字是论文表格中的调整后均值。它们不代表某一个人从 8 分涨到了 27 分,也不能被换成某个界面对每位用户的保证。研究比较的是条件类别下的表现。

还有一项容易漏掉的对照:在同一批题目上,没有看过错误 AI 建议的人,整体最佳替换比例约为 18%,正确识别碳水来源约为 49%,仍然高于认知强制类。

这让结果多了一层含义。干预帮助用户抵抗了一部分错误建议,但错误建议的影响还在。不能因为从 8% 到了 27%,就说问题解决了;也不能只看这批错误题,就反过来说所有 AI 帮助都不值得用,因为全部题目的结果不同。

两个观察范围,两个结论所有题目:认知强制类与简单解释类之间,没有发现整体表现的显著差异。AI 出错的题目:认知强制类做得更好,但仍低于同题的无 AI 对照。“错误时能少受一点影响”与“总体更准确”,是需要分别检验的结果。

对应用评估来说,这种拆分比一个平均分更有用。大多数时候建议正确,系统很容易显得省事;我们还需要看它偶尔错时,人有没有能力把判断拉回来。

不跟 AI 一起错,也可能自己错到别处

论文进一步把 AI 出错时的人的选择拆成几种:跟随错误建议、给出另一个错误答案,或者答对。拒绝 AI 的选项,只排除了一条错误路径,正确答案未必自动出现。

拿“该替换哪一种食材”来说,认知强制类跟随错误 AI 建议的比例约为 48%,简单解释类约为 64%,下降了 16 个百分点,这项差异达到统计显著。

但如果要求两个选择都与 AI 的完整建议一致,过度依赖比例从约 30% 到 26%,差异并不显著。论文标题中的“减少过度依赖”,不能被理解成每一种计算口径都得到了相同强度的证据。

两个层次的区别并不玄妙。一个人可能同意 AI 该拿掉哪种食材,却自己挑了另一个替代品;也可能拒绝 AI 指出的食材,但挑出了盘子里另一种不该优先替换的东西。把最终决策拆开,才能看见他究竟在哪一步保留了判断。

这也提醒我们,少接受建议不是一个独立的终点。若把“和 AI 不一样”当成好成绩,一个总唱反调的界面也能显得很成功。实际需要的是人能利用正确的信息,同时在信息出错时识别问题。

在这项实验里,所谓过度依赖是通过“AI 错时,人是否选了同样的错误答案”来操作化的。它记录了行为结果,并不直接揭示每个人为什么这样选。有人可能受建议影响,有人也可能独立犯了同样的错。实验条件比较能提供证据,但不能替每一次选择补上一段心理独白。

有效的设计,会不会反而让人嫌烦

作者还收集了信任、偏好、主观任务难度和系统复杂度。这里的结果比“越难用越有效”要细。

总体上,认知强制类被认为比简单解释类更复杂。可是,两类在总体偏好与信任上的差异没有达到显著水平;主观任务难度也没有在这两类之间形成显著差异。完全没有 AI 的条件,反而被认为更费脑。

论文所讨论的体验与表现之间的张力,还来自相关性分析:在 AI 出错的题目上,较低的信任和偏好,与更好的表现相关。这不等于让用户烦躁,就能让他更准确。相关关系也没有告诉我们,故意增加多少操作步骤最合适。

这种细读很有必要。若只把摘要里的取舍压成一句“好用会让人偷懒,难用才能促思考”,设计很容易滑向给用户找麻烦。一个无关紧要的确认弹窗,也会增加阻力,但它未必让人看见任何新的证据。

比较有意义的阻力,应当改变人在决策中的工作。例如先留下一个判断,让后续的修改有参照;或者要求查看那项最容易被忽略的信息。它是否值得保留,要看这种额外工作有没有帮助发现具体问题。

这份成本也不能只在第一次使用时看。有人可能在实验里愿意配合完成 24 道题,日常连续用一星期却会寻找跳过方式。该研究没有长期部署,无法回答干预会不会随着熟悉而变成新的机械动作。

同一道思考门槛,谁更容易跨过去

研究还做了一项内部审视:这些干预是不是同样帮助不同的人?作者使用简短的 Need for Cognition 问卷,衡量参与者有多愿意投入费力的思考,再按样本中位数分成高、低两组。

这个概念叫“认知需求”,不要把它当成智商,也不要拿它给人分成认真与不认真的两类。问卷测的是特定倾向,现实中的投入还会受到任务熟悉度、时间和精力影响。一个人今天不想再多看一张图表,并不能说明他没有判断能力。

在 AI 给错建议时,两组的碳水来源识别都从认知强制中获益。高认知需求组在更完整的最佳替换任务上也有显著改善;低认知需求组在这项整体指标上的改善没有达到显著水平。

作者据此提醒,增加思考要求的设计,可能让原本更容易投入认知努力的人获得更多收益。我们还应当谨慎:一组显著、另一组不显著,本身不能单独证明两组的干预效应存在显著差异,更不能把问卷分组写成不可改变的能力界线。

假如一个界面只有本来就知道怎样找错的人用得好,那么平均成绩提高以后,还有一批人的困难没有被解决。额外放一段解释,可能为熟练者补上一条线索,也可能为不熟悉任务的人再添一屏需要处理的材料。

这种问题要回到具体操作里看:用户需要先了解哪些概念,能否找到有关证据,哪里值得停下来想,哪些重复步骤只是在消耗耐心。研究没有给出一套成熟的个性化方案,却把“对谁有效”放进了评价里。

从这项旧研究走到今天,哪些可以带走

这是一项 2021 年的受控实验,任务单一,使用固定质量的模拟建议。它没有测试今天的对话式大模型,也没有证明先答再改能直接迁移到诊断、招聘或复杂科研判断。

可以继续沿用的,是它把评价问题拆开的方式。先看人有没有做对,再看 AI 出错时发生什么;同时记录用户自己的错误与体验,不让“更少采纳 AI”替代全部目标。

解释还要配合合适的出现时机:人什么时候看到它,看到前是否形成了判断,是否有机会检验解释依赖的前提。一个漂亮的条形图,不能替用户完成这些动作。

至于实际界面,可以从“先交一个判断,再看建议”这样的安排开始试,但要记得,这只是本文实验过的三种方案之一。研究没有证明它优于另外两种,也没有给出适用于所有任务的最佳等待时长。

如果一项工作本来就很容易核对,强行把每个答案藏起来,可能只会让用户多点击几次;如果错误难以发现,又缺少判断所需的知识,光让用户先答也未必够。接下来的问题是,AI 能不能针对人的具体理由,帮助他看见遗漏和矛盾。

同主题下篇讨论的 AACT 正在尝试这件事。它收集人的判断与证据,再用模型分析哪些理由可能不完整或不可靠。那项研究也没有得到一个毫无代价的胜利,但它让“请认真想一想”有了更具体的交互内容。

同主题下篇所读论文:AI-Assisted Critical Thinking,CHI 2026[2]

再回到那张食物照片。用户在看到建议前留下的选择,至少让他有机会问一句:我为什么原先想换这个,现在却准备换另一个?如果答案只是“因为旁边的 AI 已经排好了”,那一段尚未完成的判断,就被看见了。

原作者公开版本[3]

CSCW 2021 正式出版记录[4]

参考链接

[1] 论文全文:https://arxiv.org/pdf/2102.09692

[2] 同主题下篇所读论文:AI-Assisted Critical Thinking,CHI 2026:https://doi.org/10.1145/3772318.3790785

[3] 原作者公开版本:https://zbucinca.github.io/assets/pdf/publications/bucinca2021trust.pdf

[4] CSCW 2021 正式出版记录:https://doi.org/10.1145/3449287

作者:Seminar of HCI。资料核对:2026年10月16日。

相关学习资料