AI说“我不确定”,人就会更谨慎吗?

论文解读 · Human-AI Interaction

AI 生成的原创概念插画

“我不确定，但答案可能是……”

看到这句话，你会多查一个来源，还是觉得这个AI挺诚实，于是更愿意相信它？两种反应都说得通，也正因为如此，给回答加一句保留措辞，效果不能只靠产品团队在会议室里猜。

Sunnie S. Y. Kim与合作者在FAccT 2024发表了一项404人的实验。他们把答案内容尽量保持一致，只改变是否表达不确定，以及使用“我不确定”还是“不太明确”一类说法，再观察人怎样作答、查资料和评价系统。

结果给了第一人称表达一些支持，也留下了不少边界。更谨慎的措辞能改变行为，但没有把错误答案变成正确答案，更没有让过度依赖自动消失。

论文信息｜约10至15分钟阅读“I’m Not Sure, But…”: Examining the Impact of Large Language Models’ Uncertainty Expression on User Reliance and TrustSunnie S. Y. Kim、Q. Vera Liao、Mihaela Vorvoreanu、Stephanie Ballard、Jennifer Wortman Vaughan；FAccT 2024。研究数据采集于2023年9月，使用虚构AI搜索系统呈现预先准备的回答。

昨天算出的不确定，今天怎样交给人

上一篇SelfCheckGPT讨论怎样从多次生成中提取一致性信号。模型输出里的分歧，可以帮助安排核查顺序，但分数不等于事实真伪。

今天这篇把镜头移向用户。就算系统已经有一个可用的不确定性信号，还要决定如何表达、用户把它理解成什么，以及理解之后是否会采取有帮助的行动。

两篇研究没有共同验证过一条产品流程。SelfCheckGPT测量检测与排序表现，这篇研究操纵语言表达并观察人。把它们配着读，能看见从模型评价到真实使用之间还缺哪些证据。

尤其值得注意的是，本实验的保留措辞由研究者随机安排，既可能出现在正确答案上，也可能出现在错误答案上。它研究的是措辞的影响，不是在测试一个已经准确校准的置信度提示器。

404人，八道题，一个只答对一半的系统

参与者被随机分进四组。对照组看到不表达不确定性的AI回答；第一人称组在一半回答中看到类似“我不太确定，但我猜……”的开头；一般表达组则看到类似“目前不太明确，但似乎……”的开头。第四组不看AI回答，可以自行寻找资料。

每人完成八道医学领域的是非题，可以使用其他资源。题目经过挑选，目的是让普通人不太可能直接知道答案，也不容易把整题复制到搜索引擎就立刻得到结论。这里的医学场景是实验任务，不是为参与者提供个人诊疗服务。

答案素材来自2023年7月的Copilot in Bing回答，研究者做了少量格式与开头修改。三组AI条件中的信息内容保持一致，差别主要是表达方式；实验没有让模型在现场自由对话。

八题中四题的AI回答正确，四题错误。表达不确定的题目又在正确和错误回答中分配，所以提示并没有可靠地告诉人哪题更可能出错。这个50%的正确率是研究刻意选出的任务组合，不能当成某款产品的总体准确率。

样本怎样留下来，也值得看

研究先登记了实验设计、分析计划与数据排除规则，再收集数据。656份完整答卷中，252份按预先规定的标准被排除，最后留下404份：对照104人、第一人称92人、一般表达94人、无AI组114人。

排除规则包括异常快速完成、所有题给出相同选项、注意力检查未达要求，以及明显离题或跨答卷重复的自由回答等。高排除比例是理解这项线上实验的一部分；预注册让读者可以检查这些规则是否事后为结果服务。

参与者来自美国MTurk，招募还设置了平台经验和历史任务通过率要求。作者在附录中指出，最终样本相对美国总体更年轻、教育程度更高，也不是人口结构上的代表性样本。

所以，404这个人数提供了一定分析基础，但不意味着它自动代表不同语言、文化、专业背景和长期使用经验的人。

同意AI，不一定就是依赖AI

研究的一项行为指标是：人的最终答案是否与AI相同。这个指标很方便，也有明显局限。你可能自己查了资料，最后恰好与AI一致，并没有接受它的建议。

作者没有先让每人独立作答，再展示AI答案测量改答幅度，因为题目原本就预计比较难。他们因此用组间比较，加上自报信心、来源使用和后续问卷，观察不同表达条件下的变化。

无AI组也可能给出与系统相同的答案，它提供了一个有用参照。研究加入这一指标时，相比原预注册有一项小调整，论文明确说明了原因。

这比只问“你相信AI吗”更接近实际行为，同时仍需记住每个指标到底量到了什么。一个人对系统有好感、愿意再次使用、以及在某道题上采纳它，并不总是同一件事。

“我不确定”组的答案，确实更准确了一些

研究采用包含参与者和题目随机效应的统计模型。下面这些比例是模型估计值，并非把所有答题记录直接相除得到的原始平均数。

对照组与AI答案一致的比例为80.9%，第一人称组为74.8%，两组差异达到统计显著。对AI回答的信心评分，也从五分量表上的3.95降到3.66。

更关键的是任务正确率：对照组估计为63.9%，第一人称组为72.8%，差异同样显著。也就是说，在这些条件下，保留措辞不仅让人少同意了一些，还伴随着更好的最终判断。

一般表达组的正确率为67.9%，方向相似，但与对照的差异没有达到显著水平。不能仅因“一组显著、另一组不显著”，就认定两个表达组在正确率上已经被证明有显著差别。表中的比较范围和检验结果都需要一起看。

无AI组估计正确率为74.2%，高于对照组，且差异显著。不过，研究没有对无AI组与两个不确定性组的所有比较都做检验。更不宜由此推出“所有任务都应去掉AI”：这里的系统答案只对一半。

提醒有帮助，但错误答案仍然会带偏人

作者还把题目按AI回答正确与否拆开分析。这部分属于探索性分析，用来进一步理解整体变化从哪里来。

当AI答对时，提供它的答案有帮助；当AI答错时，对照组的正确率明显较低。表达不确定之后，用户在AI错误题目上的表现有所改善，但仍没有完全摆脱错误建议的影响。

对具体题目的分析还显示：如果AI本来答对，不确定性表达可能让一些人放弃正确建议；如果AI答错，提醒又能促使一些人纠正方向。两个方向的变化说明，减少采纳本身并不是成功标准。

假如一个系统本来已经很准确，却在许多正确答案前反复犹豫，用户可能付出更多核查成本，甚至改成错误答案。本文没有测试所有准确率和提示校准程度的组合，因此不能从当前实验直接确定最合适的提示频率。

信心下降，使用意愿也可能跟着下降

结束问卷把信任分成不同方面。一类关注系统是否有能力、是否诚实、是否为用户利益服务；另一类关注人是否愿意依赖系统的信息、继续据此采取行动。

第一人称组在后一类“信任意愿”上得分较低：2.91，对照组为3.25，一般表达组为3.36，相关比较达到显著水平。但关于系统能力、诚实等“信任信念”的整体量表，没有出现显著组间差异。

因此，笼统说一句“表达不确定会降低信任”，会盖住不同指标的变化。用户可能仍觉得系统有能力，只是不愿把重要决定直接交给它。

拟人化与感知透明度也没有显著组间差异。不过，附录报告透明度的两道题内部一致性很低，作者建议未来分开报告；它不能被当作一个十分稳定的“用户已经理解系统”的证据。

对产品团队来说，这意味着让用户更谨慎可能伴随使用意愿变化。这个变化是否合适，需要结合系统能力和任务后果来判断，不能只盯着留存或者信任评分中的某一项。

“我看过来源”，和点击过链接是两回事

研究同时记录链接点击，也询问参与者最终答案依据了哪些材料。两种测量出现明显差距：原始记录中，点击链接的平均比例约为30.6%至34.9%，自报使用链接内容的比例约为64.2%至71.6%。

作者没有把它简单解释为参与者不诚实。可能有自报误差，也可能有人只看了链接标题，就认为自己已经参考过来源。点进链接本身也不等于认真读完，因此行为记录同样不是完美的理解测试。

三个有AI条件之间，来源使用的组间差异没有达到统计显著。把结果写成“加一句不确定，大家就会主动查证”，会超出证据。

在有不确定性提示的组内部，逐题比较显示，看到提示时参与者更少自报依赖AI；第一人称组也更常自报自行上网搜索。这是另一层比较，不能和整体组间结果混为一谈。

这些细节很适合提醒界面设计者：把来源放在回答下方，只说明入口存在。用户是否打开、是否读懂、是否用它改变判断，仍然是几件需要分别观察的事。

更慢，也没有出现在所有比较里

对照组完成每题的模型估计时间为2.13分钟，无AI组为1.57分钟，差异显著。两个不确定性组与对照之间，整体任务时间没有显著差异。

组内逐题比较则出现另一个结果：一般表达组在看到不确定性提示的题目上用时更长，估计从1.84分钟到2.23分钟；第一人称组也有相同方向，但差异不显著。

“人可能停下来多想一会儿”是一种合理解释，时间记录却不能直接告诉我们那一会儿在做什么。线上参与者可能查资料，也可能被其他事情打断。论文自己承认，这类测量不如现场观察精细。

把所有结果压成“提示让人慢下来，于是答得更好”，故事会很顺，因果链却没有被完整验证。

用户还会替系统解释它为什么犹豫

自由回答里，不少人把保留措辞理解成系统找不到答案、发现来源冲突，或问题本身很难。也有人认为，这是系统保护信誉、避免承担责任，甚至刻意表现得像人的方式。

这些解释对应不同的下一步。如果人觉得问题难，可能去找更多资料；如果觉得这只是例行免责，可能直接略过；如果把它当成诚实的证明，也未必减少依赖。

分析中，一般表达组较常把不确定归因于信息或问题，第一人称组较常归因于AI自身能力。这里提供的是解释线索，不能据此认定每个读者都会作相同理解，也不能证明这些归因就是量化结果变化的唯一原因。

在本实验里，提示其实是研究者安排的。参与者却可能自行补出一个“系统知道自己何时会错”的故事。这正是估计不确定性与表达不确定性需要同时考虑的地方。

放到真实产品里，还缺哪些验证

这项研究使用英语、美国线上参与者、一次会话和八道预先选择的题目。它没有测试长期使用后的提示疲劳，也没有测试中文措辞、开放式写作或连续追问，更不是病人面对自身症状时的真实就医决策。

它对业界仍有一个直接价值：原回答来自实际产品，研究者控制内容、只改措辞，因此能够较清楚地观察语言选择的影响。代价是交互被限制为查看预设答案和完成是非判断，用户不能像日常聊天那样继续追问。

如果把昨天SelfCheckGPT一类信号接到这类界面，首先需要验证信号与错误的关系，再测试提示是否让人在该查的时候查、在证据充分时合理使用答案。当前两篇论文没有替这条组合流程提供端到端验证。

作者公开了预注册方案，附录列出题目、实验措辞、问卷和排除规则，可作为复现与重新设计实验的入口。本次阅读了正式论文与作者附录、预注册页面，没有运行分析代码，也没有把其中的医学题目当作诊疗资料转述。

“我不确定”值得认真设计，因为它可能改变人的判断。但给系统加上谦虚的口气之后，还得检查用户下一步做了什么。如果用户更愿意接受回答，却没有更好地区分其中的对错，这版提示仍然需要调整。

FAccT 2024正式论文^[1]

作者包含附录的版本^[2]

公开预注册方案^[3]

同主题AI论文：SelfCheckGPT^[4]

作者：Seminar of HCI。资料核对：2026年10月30日。