学术前沿|测谎实验中引入AI角色的有效性检验

David M.Markowitz and Timothy R.Levine

当前社会正面临严峻的信任危机与虚假信息的广泛挑战，这使得探究人工智能在识别谎言方面的应用潜力变得尤为重要。在测谎领域的经典理论“默认真实理论”看来，人类在日常沟通中本能地带有强烈的“真实偏向”，导致人类实时识别谎言的平均准确率通常仅徘徊在54%左右。这种人类自身能力的局限，为引入生成式大模型辅助或替代人工测谎提供了现实需求。

然而，现有的人工智能测谎研究存在明显的局限性。此前的研究大多仅关注纯文本数据，缺乏对音频、视频等多模态沟通场景的考察；更为重要的是，以往研究尚未充分利用大语言模型独有的“角色模拟”功能。鉴于近期已有学者成功利用人工智能角色复制了大量社会科学经典实验，该研究旨在填补这一空白，通过为大模型设定不同的人工智能角色，系统性地检验其在各类测谎场景中的有效性，进而揭示人工智能在判断事实真相时可能存在的系统性偏差与真实效能。

理论框架、方法及结果

理论框架

该文的理论基础以“默认真实理论”（Truth-Default Theory, TDT）为核心，并辅以传统的“线索理论”（Cue Theories）。默认真实理论认为，由于诚实是人类日常交流的常态，人们在沟通中会本能地表现出“真实偏向”，且往往依赖诊断性提问和现实环境中的“生态基准率”来判断真伪，这为评估分配了不同角色的人工智能是否具有类似人类的认知偏差提供了根本参照系；同时，该研究结合线索理论中关于媒体可供性的观点，探讨了不同媒介形式所提供的行为线索差异是否会影响人工智能的测谎表现，从而系统性地检验了大语言模型在多模态场景下模拟人类测谎时的内在机制与局限性。

实验方法

该研究采用了一套系统性的实验法，借助 Viewpoints.ai 研究平台执行了12项独立的子实验，利用 gemini-1.5-flash 大语言模型对人类陈述进行了超过 19,000 次的真伪判定。在实验设计上，研究构建了多变量控制矩阵，严格操纵了沟通媒介形态（纯音频与音视频双模态）、沟通情境与时长（短时作弊审问、长时诊断性提问及日常社交互动）、信息的先验基准率（传统的“真假各半”与符合现实的“生态基准率”），并开创性地为模型设定了包括普通成人、FBI行为分析专家及自闭症谱系障碍（ASD）患者等在内的多种“人工智能模拟角色”，以系统测试身份设定的干预效应；在数据分析层面，研究不仅量化评估了人工智能判定的准确率与“真实偏向”指标，还引入自然语言处理技术，运用意义提取方法（MEM）与主成分分析（PCA）对人工智能生成的自由文本决策依据进行深度主题建模，从而客观揭示了人工智能在多模态测谎任务中的内在决策逻辑与系统性偏差。

研究结果

该研究的实验结果表明，大语言模型在多模态谎言识别任务中的表现极不稳定，且与传统基于人类受试者的研究发现存在显著的系统性分歧。具体而言，在评估涉及朋友情感的日常陈述时，人工智能的准确率相对最高（57.7%），并表现出与人类相似的强烈“真实偏向”（判定71.7%的内容为真）；然而，当情境切换至关于作弊的高压审问记录时，人工智能却发生了严重的认知反转，展现出极端的“谎言偏向”，将超过75%的受试者判定为说谎。此外，当实验引入符合现实规律的“生态基准率”后，在人类测谎准确率通常能超过70%的特定访谈任务中，人工智能的准确率竟断崖式暴跌至15.9%。

讨论与启示

尽管人工智能在测谎实验中的总体原始准确率与人类的平均水平相似（均徘徊在随机几率附近） ，但其在具体情境下的内在判断机制与人类表现存在深刻的系统性分歧 。研究证实，为人工智能设定不同的模拟角色（如FBI专家或自闭症患者）对改变准确率几乎没有影响，这虽与人类测谎中个体差异作用微弱的规律相符 ，但人工智能在审问情境中表现出的极端“谎言偏向”却与人类典型的“真实偏向”截然相反 。更严重的是，诸如引入现实的生态基准率、长时诊断性提问以及提供上下文背景等能显著提升人类测谎表现的干预措施，在人工智能身上不仅全部失效，甚至会导致其判断准确率大幅暴跌 。当前的大语言模型既无法有效模拟人类数据以替代实验受试者 ，也无法发挥“群体智慧”来提升谎言识别的准确性 ；由于人工智能在处理欺骗检测任务时表现出比人类更深的偏见，业界和学界在将生成式人工智能应用于实际的测谎场景之前，必须保持极其谨慎的态度并认清其现阶段的重大技术局限 。

亮点与不足

亮点

1. 宏大的实验规模与突破受试者招募困境。研究借助 Viewpoints.ai 平台生成了超过 19,000 次人工智能真伪判定数据。这一方法成功克服了传统实证研究中难以大规模招募具备特定身份（如 FBI 行为分析专家或自闭症谱系障碍患者）人类受试者的现实挑战，极大扩展了研究的样本广度。

2. 严密且多维度的变量控制矩阵设计。在实验设计上，该研究系统性地操纵了沟通媒介形态（纯音频与音视频）、测试情境与沟通时长、先验真谎基准率（传统“真假各半”与符合现实的“生态基准率”），以及多种人工智能模拟角色设定，从而全面、多角度地检验了各类变量对人工智能测谎效能的影响。

3. 深层次剖析人工智能测谎的内在决策机制。研究并未仅仅停留在对判定准确率等表层数据的统计测算上，而是创新性地引入了自然语言处理技术（如意义提取方法）。通过对人工智能生成的自由文本决策依据进行深度主题建模，客观且透彻地揭示了人工智能在判断时依赖了哪些具体线索（如隐瞒行为或说服意图），及其与最终准确率的内在联系。

不足

1. 单一模型依赖与结论泛化的风险。该研究仅依赖于单一的大语言模型（gemini-1.5-flash）进行测试。鉴于当前人工智能模型迭代速度极快，且不同架构的模型在逻辑处理上存在差异，该研究得出的结论能否直接推广至其他现有模型（如 GPT-4、Claude 等）或未来的更新版本尚未可知，这给研究结果的普遍适用性与未来的科学复现带来了挑战。

2. 角色设定的局限与跨文化验证的缺失。在实验设计中，研究者为人工智能设定的模拟角色范围相对有限，未能充分涵盖涉及不同年龄层、多元文化背景或与欺骗行为高度相关的复杂人格维度。此外，实验所使用的所有多模态语料刺激均基于西方文化背景下的英语交流，因此研究结论是否适用于非西方文化语境，其跨文化的有效性尚未得到实证检验。

3. 测谎任务的简化。该研究的测谎任务主要局限于简单的“二元判断”（即判定为真或假），未能涵盖现实交流中更为复杂的欺骗形式（例如信息遗漏或半真半假的嵌入式谎言）。

原文链接