引言
2024 年 1 月,香港一家跨国工程公司的财务职员收到"总部 CFO"的邮件,对方说要谈一笔"秘密交易",需要把公司资金暂时转到本地账户。职员起初起了疑心,可随后对方发来一场视频会议邀请——屏幕上一众"高管"在场,面孔和声音都和真人无异,甚至还有他熟悉的同事。他逐一做了自我介绍,然后按照指令分 15 次转了 2 亿港元,全程只有他一个是真人(香港警方,2024)。
这是截至公开报道金额最高、也最受关注的深度伪造视频会议诈骗案之一,涉及香港 Arup 公司。它值得放在开头,不是因为金额本身,而是因为它把"AI 的安全隐患到底是不是真问题"这个抽象争议,压缩成了一场让受过训练的专业人士遭受巨额损失的骗局。骗子的工具并不一定高级:从公开渠道获取高管的音视频素材,再用语音克隆和换脸技术合成一场"全员在场"的线上会议。
但本文想追问的问题比这起案子更大。生成式 AI 进入大众视野以来,担忧五花八门——有人怕它"一本正经胡说八道",有人怕它把私人数据记住再吐出来,有人怕它伪造一切音视频。这些担忧真实吗,还是被媒体放大的集体焦虑?本文将把幻觉、数据泄露、深度伪造三重风险拆开讲清楚,看它们各自怎么发生、又怎么在医疗、司法、交通、金融这些容错率极低的领域被放大成真实伤害——最后问一句:我们手里的治理工具,是不是从一开始就配错了位置。
第 1 章 幻觉:AI 为何"一本正经地胡说八道"
先从一个反直觉的事实入手:幻觉并非单一技术故障,而是当前概率生成机制、训练目标和开放式任务共同造成的系统性风险。大语言模型的核心能力,是根据上下文生成统计上最可能的后续内容。它并不天然具备事实核验能力,只知道什么表达更像人话。所以当它被问到一个训练材料中没有、或现实本身就模糊的问题时,它可能不会说"我不知道",而是流畅地生成一个听起来专业的答案——这就是幻觉(Ji 等,2023;Huang 等,2023)。
这不是一个可以靠单次修复彻底解决的 bug。学界把幻觉分成「事实幻觉」(编造与事实不符的内容)和「知识幻觉」(与上下文或常识相悖),常见缓解手段包括检索增强、让模型更适当地表达不确定性,以及用人机协作兜底。但在开放式生成任务中,没有任何单一手段能保证彻底消灭它(《软件学报》,2024)。
幻觉"看起来无害"的一面,是在内容摘要这类场景里——顶级模型在 Vectara 的最新基准下,幻觉率可压到 2% 以下(Vectara,2025)。可一旦进入高风险场景,问题就变了性质。Stanford RegLab 测试专业法律 AI 工具,发现即便是专用工具,在真实法律查询上幻觉率仍在 17%–33%,通用大模型则高达 69%–88%(Stanford RegLab,2024)。医疗领域的数字同样惊人:跨模型测试中,临床决策支持的对抗性幻觉率在 50%–82%,即便用缓解提示平均也只能从 66% 压到 44%(Omar 等,2025)。
幻觉造成的损失难以精确认量。一个常被引用的数字是“2024 年 AI 幻觉造成的全球财务损失达 674 亿美元”——据 Speednet(一家 AI 治理分析机构)综合估算,这是分析师口径而非官方统计,不确定性很大。相比之下更可追溯的是法庭记录:涉及 AI 幻觉的法律案件从 2023 年的 10 起、2024 年的 37 起,增至 2025 年前五个月的 73 起;到 2026 年 7 月,一个由学者维护的全球 AI 幻觉法庭案件数据库已收录 1769 起。相比那个难以核实的估算,这些逐案可查的法庭记录是更硬的证据。它们至少说明,AI 幻觉已经进入司法程序、律师执业和责任争议,而不再只是模型评测实验中的技术指标。但案件数量的增长,还不能直接等同于损害程度的增长。
这里需要诚实说明一处边界:本节关于幻觉“独立案例”的证据,主要依赖上述法庭数据库与医疗/法律对抗实验,而非一起完整、公开、因果链条已经完全查清的单一幻觉致害事件。这并不意味着幻觉只能在实验室里伤人,而是提醒我们:模型错误、实际损害和法律责任之间,还需要逐案建立证据链。
第 2 章 数据泄露:不止是"误传",而是"记忆"
很多人以为 AI 的数据风险就是"我手滑把文件喂给了机器人"。这没说错,但它只说明了最浅的一层。更深的一层在于:模型会"记住"训练数据,而这种记忆本身就是一个可被攻击的漏洞。
两条安全研究奠基性的证据把“模型层面的隐私风险”讲透了。第一,成员推断攻击(membership inference):攻击者可以反复试探模型,判断某条个人数据是否被包含在训练集里,从而推断某个人的隐私信息是否被使用过(Shokri 等,2017)。第二,训练数据提取攻击:研究者从 GPT-2 里逐字提取出了数百条训练文本,其中包含个人姓名、联系方式,甚至 128 位的 UUID,证明大模型可能记忆并吐出训练语料中的敏感信息(Carlini 等,2021)。
但这和三星 2023 年事件属于两个不同层次。三星案例证明的是员工把半导体设备源代码、良品率数据和会议纪要主动输入外部 AI 服务,敏感数据因此离开了组织边界;它不能直接证明这些内容后来进入了模型训练,或已经被公众从模型中提取出来。前者是“使用和组织治理风险”,后者是“模型记忆和攻击风险”,治理手段不能混用。
就业界账面来说,数据泄露的成本压力是结构性的。据 IBM Security 报告,2024 年全球数据泄露平均成本为 488 万美元,较上年增长 10%,是疫情以来最大年度增幅;金融行业平均 608 万美元,比全球均值高 22%;医疗行业以 977 万美元连续第 15 年成为成本最高的行业。AI 也在放大攻击面:2024–2025 年度由 AI 驱动的泄露攻击增加 56%,所谓"影子 AI"(员工未经批准使用的 AI 工具)导致个人隐私暴露的比例达 65%(IBM Security,2025)。
这里必须处理一个看起来矛盾的数字。IBM 2025 年的报告显示全球平均泄露成本降至 444 万美元、下降了 9%,是五年来首次回落。如果只看这条,似乎数据风险在缓解。但 IBM 自己在报告里解释了真相:下降的主要原因是更多泄露发生在成本较低的地区,不代表单次泄露变得更便宜——事实上,美国的平均成本创下 1022 万美元的历史新高(IBM Security,2025)。
第 3 章 深度伪造:从专业犯罪到平民化产业
幻觉和数据泄露,多少还带着"技术事故"的味道;深度伪造则完全是一种主动作恶的工具。它的关键变化不在技术先进,而在门槛降低。
深度伪造人脸操纵与检测,早在 2019–2020 年就形成了系统研究,检测基准(如 FaceForensics++)和数据综述(Tolosana 等,2020)都相当成熟。但它真正可怕的地方在于:过去伪造一段足以骗人转账的音视频需要好莱坞级的团队,今天一个人、一张脸、几段公开素材就能批量制作。于是"伪造高管的视频"从谍战戏变成了流水线生意。
行业数据印证了这一变化,但需要先看清它们的口径。据 Entrust 研究转引,深度伪造欺诈事件较 2022 年增长约 3000%,2024 年全球平均每 5 分钟发生一次尝试;Sumsub 报告称,北美相关欺诈在一年内同比增长 1100%(均为行业数据或二手转引)。Gartner 的一项企业调查显示,62% 的受访企业在过去一年经历过深度伪造攻击(2025)。Deloitte 金融服务中心则预测,生成式 AI 驱动的诈骗损失到 2027 年可能达到 400 亿美元。它们可以说明产业扩张和组织感知的变化,但不能被当作同一口径的官方事故统计。
开篇的 Arup 案不是孤例,而是同一类手法的规模化升级。早在 2019 年,一家英国能源公司的 CEO 就接到过一通“总部老板”的电话——对方用 AI 克隆了他上司的声音,骗他立刻向“匈牙利供应商”转账 24.3 万美元,事后才惊觉那头是伪造的(华尔街日报,2019)。同样的深伪语音诈骗,四年后升级成了 Arup 案那场“全员假高管”的视频会议,金额也涨到了千万美元级。学术上,金融犯罪领域的两起案例估算单起深伪组织欺诈损失在 24 万到 3500 万美元之间(de Rancourt-Raymond & Smaili,2023)。除了图财,深伪还被用于舆论操纵。2022 年 3 月,一段伪造的乌克兰总统“劝军队投降”视频在俄乌冲突初期传播,迫使泽连斯基本人录视频辟谣。它的实际传播范围和影响程度仍应以平台记录及独立研究为准,但这起事件至少显示:当公众无法迅速辨认影像真伪时,深伪会从单纯的诈骗工具变成信息秩序问题。
更麻烦的是“防御—攻击”的不对称。据 Security.org 调查,80% 的企业没有应对深度伪造攻击的协议,31% 的高管认为深伪并没有增加他们公司的欺诈风险——也就是说,攻击者在产业链化,防御者的认知还停在“这跟我没关系”。这种普遍的认知缺口,比具体某一起骗局更难修补。
到这里,幻觉、数据泄露、深度伪造各自的机理已经讲完——但它们从不孤立发生,下一章会把这三件事同时叠到同一批人身上。
第 4 章 关键领域:风险如何被放大
前三章分别揭示了三重风险的不同机理:幻觉源于生成内容与事实核验之间的缺口,数据泄露发生在数据越过组织边界或被模型记忆、提取的过程中,深度伪造则利用了身份鉴别成本的上升。它们并不共享完全相同的技术原因,却会在高风险领域汇合为相似的社会后果:鉴别更难、损害更快扩散、责任链条更长。在医疗、司法、交通、金融这些容错率极低的场景,同样一次错误输出、一次数据外传或一段深伪音视频,都可能被放大成真实的伤亡、误判与财产损失。
医疗。 据 FDA 数据,美国已授权 1357 项 AI 增强医疗设备,其中涉及 60 项的 182 次召回中,有 43% 的召回发生在设备上市后的第一年。幻觉在这里不是"念错了摘要",而是可能直接改写医生的判断——临床决策支持系统的对抗性幻觉率高达 50%–82%(Omar 等,2025),AI 辅助下的诊断错误率在住院患者中达到 11%,且 65 岁以上患者显著更高(2022 年研究)。患者安全综述提醒,AI 在医疗中的问题不在"能不能用",而在"人机责任如何划分"。
司法。 通用大模型在法律查询上的幻觉率为 69%–88%,专业法律工具相对较低但仍达 17%–33%(Stanford RegLab,2024;Dahl 等,2024)。当法官、律师或当事人把错误输出当作法律依据时,问题不只是某段文字出错,而可能影响检索、论证和诉讼策略。前述法庭案例数据库的增长不能被简单归结为这一单一原因,但它提醒我们:法律 AI 的错误已经开始进入可追责的司法场景。
交通。 这个领域尤其需要区分技术等级和统计口径。据 Waymo 及其合作者发表在 Heliyon(2024)的同行评议研究,其 L4 级自动驾驶车辆在责任保险索赔口径下,财产损失索赔减少约 88%、人身伤害索赔减少约 92%;另一项覆盖 5670 万英里里程、发表于 Traffic Injury Prevention(2025)的回顾研究显示,受伤报告下降约 79%。但这不能被外推为“自动驾驶总体比人类驾驶更安全”。另一端同样真实:据基于 NHTSA 强制报告的汇总数据,截至 2025 年 11 月美国累计报告 5202 起自动驾驶相关事故,其中包括 65 起死亡;2018 年 Uber 测试车撞死推车行人、2024 年西雅图特斯拉 FSD 撞死摩托车手。Waymo 的 L4 级与特斯拉的 L2 级辅助驾驶并不处在同一使用条件和责任结构中,不能拿同一把尺子比较。RAND 也提醒,单靠后验行驶数据难以证明自动驾驶的绝对安全,需要更大的累计里程与独立核查。交通的难题不在于简单比较谁“更安全”,而在于系统出错时,驾驶员、车企、软件提供者、运营方与监管者之间如何分配责任(Taeihagh,2019)。
金融。 深伪与数据泄露在这里汇流成欺诈损失。2024 年美国投资欺诈损失达 57 亿美元、同比增 24%;身份冒充欺诈损失 29.5 亿美元(FTC,2024);SEC 因 AI 虚假陈述开出 1270 万美元罚单(SEC,2024)。学术上,深度伪造被确认为组织性金融欺诈的成熟工具(de Rancourt-Raymond & Smaili, 2023),而 AI 在金融业同时既是欺诈者也是防治者——文献计量综述指出,AI 金融欺诈防治正成为独立研究主题,本质是一场"检测 vs 规避"的军备竞赛(Moura 等,2025;Chen 等,2026)。
必须诚实交代:医疗、司法、交通、金融这些数字多为海外(尤其美国)数据。截至 2026 年,中国尚无公开的 AI 数据泄露专项统计、全国性自动驾驶事故统计或 AI 医疗误诊专项统计,本文不虚构本土数字,仅据公开可得数据呈现国际图景。
第 5 章 反方:AI 安全性被夸大了吗?
一个严肃的反对者会这样说:你们通篇都在讲 AI 的危险,但人类本身就大量犯错,而 AI 已经在某些受限场景优于人类基线。交通安全研究常被概括为“约九成事故涉及驾驶者因素”,Waymo 的特定场景数据也显示其保险索赔表现优于人类驾驶。医疗和司法同理,人类医生会误诊,人类律师也会援引错误判例。更何况 IBM 2025 年数据显示全球数据泄露平均成本下降了 9%,McKinsey 调查显示多数组织并未报告 AI 事故。因此,“AI 安全隐患”可能被媒体选择性放大,治理的正确姿势不应是无差别加码监管,而应避免以恐慌替代风险判断。
这是一个需要正面回应的论点,不是走个形式。本文承认"AI 确实在多个领域降低了风险"这一事实(这正是它值得被审慎使用而非排斥的原因),但反对者的论证里藏着三个盲区。
第一个盲区是幸存者偏差。全球泄露成本降了 9%,但 IBM 明确解释这是"更多泄露发生在低成本地区"的结果——美国平均成本恰恰创下 1022 万美元历史新高。看似"整体在变好"的平均数,掩盖了高成本地区风险实际在恶化。
第二个盲区是基线错位。自动驾驶“相对更安全”的结论,总是在特定系统、特定道路、特定运营范围和特定统计口径下得出的。早期交通事故研究中“约九成涉及驾驶者因素”的说法,也不能简单等同于“事故责任全部归于驾驶员”。Waymo 的 L4 级系统与特斯拉的 L2 级辅助驾驶处在不同技术等级和责任结构中,不能混在同一把尺子上比较。更重要的是,即便某一系统在总体统计上表现更好,个体事故发生后,驾驶员、车企、软件提供者和运营方之间仍可能出现归责困难。反方用“整体更安全”回答了平均风险,却没有回答系统风险如何外溢、谁来承担、受害者如何获得救济(Taeihagh,2019)。
第三个盲区是事故盲区(报告偏差)。反方最后一张底牌是“多数组织未报告 AI 事故”——但“未报告”高度依赖事故是否被识别、是否被内部记录、是否愿意公开。AI Incident Database 记录的年度事故从 2023 年的 149 起增至 2024 年的 233 起,说明公开可见的风险事件在增加;但它也不是全量事故统计,而是依赖公开报道和主动登记。更准确的结论不是“未经历等于无风险”,也不是“数据库上升等于危害必然上升”,而是现有事故识别与报告能力本身仍不充分。至于“人类医生同样误诊、律师同样援引错判例”——这确实成立,但 AI 带来的变化是:错误可以被快速复制到更多人、更多组织和更多场景,责任又往往分散在模型提供者、部署机构与最终使用者之间。同样是犯错,风险的扩散速度和归责路径已经变了。
所以结论不是“AI 安全”或“AI 危险”这两极,而是:风险正在发生结构性的转移。 它不必然意味着总风险在每个场景都变大,却可能把原本分散、局部、较容易归责的人类失误,转化为更易复制、扩散更快、责任边界更模糊的系统性风险。治理要面对的,正是这场转移本身,而不是继续抽象地争论“AI 到底安不安全”。正因为风险形态变了,下一章的治理尺度也必须从“严”与“松”的二选一,转向场景、责任与救济的精细匹配。
第 6 章 治理困境与破解
如果说前面几章讲的是“风险是什么”,这一章要回答“为什么现有治理仍然难以跟上”。最值得警惕的不是“法规增长、事故也增长”的表面悖论,而是部署速度、风险识别与制度生效之间存在时间差。全球 75 个主要国家立法中 AI 提及次数从 2023 年的 1557 次增至 2024 年的 1889 次(Stanford HAI,2025);美国联邦机构 2024 年出台 59 项 AI 相关法规,是 2023 年的两倍多;中国截至 2024 年底已有 302 款生成式 AI 完成国家网信办备案。与此同时,AI Incident Database 记录的公开事故从 2023 年的 149 起增至 2024 年的 233 起。
这些数字不能直接证明规制无效:立法数量是过程指标,事故数据库也不是全量统计,二者之间还隔着执行、生效、报告和识别能力的差异。但它们共同指出了一个治理难题:技术和使用场景扩张得很快,风险何时被看见、由谁报告、如何归责、能否及时纠正,却仍然缺少稳定机制。这个时间差,是治理反思的起点。若要深挖,根源是三种制度性错配。
其一,事后规制。 许多监管动作仍以事故暴露为起点。典型如特斯拉 FSD:2023 年 11 月的一起致死事故,最终促使 NHTSA 在近一年后的 2024 年 10 月启动正式缺陷调查。个案不能代表全部监管,但它说明,在高不确定性技术中,风险识别、调查取证和制度响应往往要在损害发生后才真正启动。问题不只是“法律慢”,而是现有制度缺少足够前置的测试、持续监测和异常报告机制。
其二,碎片立法。 以美国为镜:2024 年国会提出 211 项 AI 相关法案,仅通过 4 项,至今没有一个全面的联邦 AI 法律(Stanford HAI,2025);而各州却通过了 131 项 AI 法律,深伪相关法规零散分布、口径不一。碎片化的结果,是标准不统一、企业无所适从、跨州监管套利。
其三,评估滞后。 全球虽有多国启动 AI 安全研究所(Stanford HAI,2025),但风险评估能力明显跟不上部署速度——FDA 数据显示 43% 的 AI 医疗设备召回发生在上市第一年,恰恰说明"上市前评估"这一关并没有拦住问题设备。
面对这三重错配,国际治理的路径差异提供了对照。欧盟《人工智能法案》(EU AI Act, 2024/1689)以"风险分级"为核心,对高风险系统课以事前合规义务,通用模型另有透明度责任;中国《生成式人工智能服务管理暂行办法》(2023)强调"发展安全并重、包容审慎、分类分级",并要求对深度合成内容进行标识、对训练数据提出要求;OECD 人工智能原则(2019 通过、2024 更新)则以"以人为本、透明可解释、稳健安全、问责"五原则奠定全球共识。
破题的核心,其实就藏在上章反方论点教给我们的一件事里:治理的目标不是“越严越好”,而是匹配风险结构的转移。关键不只是监管模型,而是监管模型进入了什么场景、影响了谁、出了问题能否被追责。
对医疗、司法、金融等高精度、低容错、长责任链条的领域,需要更严格的事前评估、人工复核、持续监测和事故报告;对摘要、客服等低风险场景,则可以保留更宽松的试错空间。更具体地说,高风险 AI 的每次关键使用都应尽量留下最小可追责链:使用了什么模型和版本、输入数据属于什么类别、输出是否经人工复核、最终由谁作出决定、出现异常后如何处置。这样一来,透明度不再只是口号,责任也不会在平台、机构和使用者之间消失。
换句话说:让监管的精细程度,跟得上风险等级;让责任链条的清晰程度,跟得上风险扩散的速度。
结语
回到开篇那场香港的视频会议。骗子未必掌握了多么神秘的技术,但公开音视频素材、低门槛的语音克隆和换脸工具,已经足以让一场虚假会议越过人的初步身份判断。骗局能得手,既是深伪技术的问题,也是组织内部缺少二次核验、双人授权和异常转账拦截的问题。
幻觉、数据泄露、深度伪造并不是同一种技术风险:一个关乎生成内容与事实核验的缺口,一个关乎数据越界、模型记忆和攻击提取,一个关乎身份伪造与社会信任。但它们正在制造相似的社会后果:错误更容易复制,损害更容易扩散,责任更容易在平台、部署机构和使用者之间变得模糊。它们在关键领域被放大成真实的伤亡、误判与损失,而我们手里的治理工具,仍常常停留在事故发生后的追认、分散规则的拼接和滞后评估。
风险并没有简单地增加或减少,而是在转移形态。真正的难题不在“要不要管”,而在“用什么尺度管、由谁来负责、受害者怎样获得救济”。既不能因为某些系统在特定场景表现更好,就宣布 AI 已经绝对安全;也不能因为一起 2 亿港元的骗局,就否定它带来的价值。治理要做的,是让规制的尺度配得上风险等级,让责任链条跟得上风险扩散。
这篇文章能呈现的国际图景已经尽力诚实,但也必须承认它的边界:中国在 AI 数据泄露、自动驾驶事故、AI 医疗误诊上的专项统计至今仍不充分(截至 2026 年)。补齐这些数据,不只是为了得到更多数字,而是为了建立事故报告、责任追踪和受害者救济的基础。到那时,我们才真正有能力回答最后那个问题:我们到底是在治理 AI,还是仍在用一套旧尺子丈量一种新的风险。
附 · 引用来源(DATA & CASES & REFERENCES)
引用来源数据来源(Data Sources)
香港警方 / 香港立法会(2024)。香港 Arup 深度伪造视频诈骗案(2 亿港元,约 2560 万美元)。香港政府新闻公报,2024-06-26。 Stanford HAI(2025)。The AI Index Report 2025:2024 年 AI 事故 233 起(+56.4%);全球 AI 立法提及 +21.3%;美国联邦 59 项、州 131 项、国会 211 提案仅过 4 项;AI 安全研究所扩张。 AI Incident Database / Responsible AI Labs(2025)。 Stanford RegLab & Stanford HAI(2024)。Hallucinating Law:法律 AI 幻觉率 17%–88%。 Speednet Software / AllAboutAI 引述(2025)。AI 幻觉全球损失 674 亿美元(估算口径 ⚠️)。 Vectara HHEM 基准(2025)。顶级模型摘要幻觉率 <2%,整体 1%–30%。 HEC Paris & Sciences Po(2026)。全球 AI 幻觉法庭案件数据库 1769 起(美国 1219 起)。 IBM Security & Ponemon Institute(2024、2025)。《Cost of a Data Breach》:2024 年 488 万、2025 年 444 万(-9%,美国 1022 万创新高);金融 608 万、医疗 977 万、AI 驱动攻击 +56%。 Entrust(2024)/Sumsub(2025)/Gartner(2025)/Security.org(2024)/Deloitte Financial Services(2024)。深伪欺诈 +3000%、+1100%、62% 企业受影响、亏损 45 万、80% 企业无协议、2032 年市场 139 亿美元、2027 年诈骗损失预测 400 亿美元。 FDA / MedRxiv(2024)。1357 项 AI 医疗设备、43% 召回在上市第一年;AI 诊断错误率 11%(2022 研究)。 Swiss Re / Waymo(2024)/Teslarati(2024)/Craft Law Firm / NHTSA(2025)/IIHS/NHTSA。Waymo -88%/-92%;特斯拉 5.5x;5202 起、65 死;目标可降 34%;94% 事故由驾驶错误导致。 FTC(2024)/SEC(2024–2025)。投资欺诈 57 亿、身份冒充 29.5 亿、SEC 罚 1270 万。 国家网信办(2025-01-08 公告)。302 款生成式 AI 完成备案(2024 新增 238 款)。 McKinsey Responsible AI(2025)。89% 组织未经历 AI 事故。
案例来源(Case Sources)
界面新闻、澎湃新闻、财新网、36 氪(2024)。香港 Arup 深度伪造视频会议诈骗 2 亿港元。 界面新闻、澎湃新闻、36 氪(2023)。三星员工用 ChatGPT 泄露半导体源代码、良品率、会议纪要。 界面新闻、澎湃新闻、36 氪。Uber 2018 年亚利桑那测试车致死案;特斯拉 Autopilot/FSD 致死事故群;泽连斯基深伪投降视频。 华尔街日报(2019,经 Forbes 等转引)。英国能源公司 CEO 被 AI 克隆上司声音骗转账 24.3 万美元(2019 年深伪语音诈骗首例)。
参考文献(References,GB/T 7714 接近式)
JI Z, LEE N, FRIESKE R, et al. Survey of hallucination in natural language generation[J]. ACM Computing Surveys, 2023, 55(12). DOI: 10.1145/3571730. HUANG L, YU W, et al. A survey on hallucination in large language models[EB/OL]. arXiv:2311.05232, 2023. 《大语言模型的幻觉问题研究综述》[J]. 软件学报, 2024(网络首发). SHOKRI R, et al. Membership inference attacks against machine learning models[C]. IEEE S&P, 2017. CARLINI N, et al. Extracting training data from large language models[C]. USENIX Security, 2021. GAO. Artificial intelligence: generative AI use — GAO-25-107653[R]. U.S. GAO, 2025. RÖSSLER A, et al. FaceForensics++[C]. IEEE/CVF ICCV, 2019. TOLOSANA R, et al. Deepfakes and beyond[J]. Information Fusion, 2020, 64: 131–148. OMAR M, et al. LLMs are highly vulnerable to adversarial hallucination in clinical decision support[EB/OL]. medRxiv, 2025. DOI: 10.1101/2025.03.18.25324184. DAHL M, et al. Large legal fictions[J]. Journal of Legal Analysis, 2024, 16(1): 64–93. Artificial intelligence in healthcare: a systematic review[J]. Frontiers in Medicine, 2024. CHUSTECKI M. Benefits and risks of AI in health care: narrative review[J]. Interactive Journal of Medical Research, 2024. Regulation (EU) 2024/1689 (Artificial Intelligence Act)[S]. Official Journal of the EU, L, 2024/1689. 国家互联网信息办公室等七部门. 生成式人工智能服务管理暂行办法[S]. 令第15号, 2023-08-15 施行. OECD. Recommendation on AI (OECD AI Principles)[EB/OL]. 2019, 更新于 2024. Stanford HAI. The AI Index Report 2025[R]. 2025-04. Responsible AI Collaborative. AI Incident Database[DB/OL]. DI LILLO L, GODE T, ZHOU X, et al. Comparative safety performance of autonomous- and human drivers: a real-world case study of the Waymo Driver[J]. Heliyon, 2024, 10(14): e34379. DOI: 10.1016/j.heliyon.2024.e34379. KUSANO K D, SCANLON J M, CHEN Y-H, et al. Comparison of Waymo rider-only crash rates by crash type to human benchmarks at 56.7 million miles[J]. Traffic Injury Prevention, 2025, 26(sup1): S8–S20. DOI: 10.1080/15389588.2025.2499887. TAEIHAGH A. Governing autonomous vehicles: emerging responses for safety, liability, privacy, cybersecurity, and industry risks[J]. Transport Reviews, 2019, 39(1): 103–128. DOI: 10.1080/01441647.2018.1494640. DE RANCOURT-RAYMOND A, SMAILI N. The unethical use of deepfakes[J]. Journal of Financial Crime, 2023, 30(4): 1066–1077. DOI: 10.1108/JFC-04-2022-0090. MOURA L, BARCAUI A, PAYER R. AI and financial fraud prevention: mapping the trends and challenges through a bibliometric lens[J]. Journal of Risk and Financial Management, 2025, 18(6): 323. DOI: 10.3390/jrfm18060323. CHEN Y, ZHAO C, XU Y, et al. Deep learning in financial fraud detection: innovations, challenges, and applications[J]. Data Science and Management, 2026, 9(2): 100162.(DOI 未独立核验,以 ScienceDirect PII S2666764925000372 收录页为准)
先行者文献(Prior Work / 结构差异定位)
南方都市报(2025)《全球AI风险事件增近五成》——覆盖幻觉/深伪/治理。本文差异:不重复"统计盘点",聚焦「三重风险→关键领域→治理困境」的五章框架与治理错配的机制解释。 国际金融报(2024)——覆盖幻觉+深伪。本文补足「数据泄露」维度与反方独立设章。 LayerX(仅幻觉)、安全内参/中国社科网(仅深度伪造)、Lee et al.(2025,幻觉+隐私,学术向)——均为单点或双点覆盖。本文差异在综合框架,非单点新知(诚实声明)。 arXiv 2505.22073(2025,英文 AI 事故分类学)——已有生成式 AI 风险分类学学术先行。本文面向中文读者做「关键领域 + 治理」延伸,风险三分法在结语呼应其先行地位。
夜雨聆风