幻觉进了医院和法院：五个真实案例复盘

五个真实案例复盘：政府问答、临床、医疗器械、财务智能体、法律引用——AI 的错是怎么被当真并进入执行的。

一位医生把 AI 给的用药建议贴进病历，一位律师把 AI 引的法条写进代理词。两份文件格式都对、语气都笃定，后来才发现——一个剂量是编的，一个法条根本不存在。

这不是段子。英国 GOV.UK Chat 的调查里，157 名用户中近 70%认为回答有用、略低于 65%表示满意，可官方仍观察到若干幻觉案例。满意，不等于可信。

这篇把五个真实案例逐个摊开。每个案例只回答三个问题：它错在哪、为什么被当真、又进了什么动作。看完你会得到一张"错是怎么流进去"的路线图。

一、GOV.UK Chat：被信任放大的错误

GOV.UK 是英国政府的官方服务门户，品牌本身就是"可信"的代名词。也正因为如此，它出问题时的破坏力更大。

调查显示，157 名用户中近 70% 认为回答有用、略低于 65% 表示满意，官方仍观察到若干幻觉案例，模糊的问题尤其危险。

问题出在哪？不在"生成"——任何模型都会出错。问题在"采信"：用户看到的是政府域名、官方口吻，验证意愿自然下降。错误因此被放大，而不是被拦下。

这里有个反直觉的点：满意度越高，风险敞口反而越大。因为满意会转化成信任，信任会降低验证——而验证恰恰是那道刹车。所以衡量一个 AI 服务，不能只看满意度，还要看它的错误有没有被拦在流程里。

金句：权威界面不是风险缓冲器，而可能是风险放大器。

英国 GDS 的跨部门研究覆盖 20+ 部门、150+ 参与者，担忧集中在准确性、偏见、隐私、安全与误用。当政府自己把 AI 接进服务，幻觉就从"某个用户倒霉"变成了"公共服务的系统性变量"——它不再是一个人的判断失误，而是一套流程的默认设置。

对个人用户而言，这件事的启发很朴素：越是看起来权威的界面，越要多问一句出处。品牌背书降低的是你的警惕心，不是模型的错误率。这一点在政府、医院、金融机构这类高可信场景里尤其成立——它们给你的信任感，恰恰是幻觉很好的掩护。

二、MHRA：护栏压住了幻觉，却抬高了遗漏

MHRA 的临床问答，是全系列很有教学意义的一组数字。

基线 GPT 在 80 次测试中出现 6 次重大幻觉（7.5%）、35 次遗漏（10.5%）；装上护栏的 SmartGuideline 跑了 333 次，重大幻觉 0 次。

看上去是完胜。但报告同时指出另一面：过严的护栏会抬高遗漏率与拒答率，形成"遗漏—幻觉跷跷板"——你把门关紧，它就不敢说话；你把门打开，它就敢编。

临床场景之所以敏感，是因为它的错误不对称：漏掉一条禁忌症，和写错一句表述，后果不在一个量级。这也解释了为什么这里的护栏要格外紧。

落到工程上，这意味着两件事。其一，护栏不是开关，是旋钮——拒答阈值、引用强度、复核层级都要能按场景调。其二，护栏的效果要同时看两个指标：幻觉率和遗漏率。只盯幻觉率，你会把系统调成什么都不敢说的摆设。

说明：以上仅为报告已核验的公开事实陈述，不构成任何诊疗建议，也不对具体器械作评价。

三、FDA：边界不清，风险分类就无从谈起

FDA 的案例在美国。截至 2026 年初，FDA 已授权超过 1200 个AI-enabled 医疗装置，医疗 AI 已进入规模化监管阶段。

监管遇到的麻烦不是"模型不准"，而是输出边界不清：一个装置的预期用途到底怎么界定、风险该归到哪一类，都因为输出形态不确定而变得困难。

换句话说，当输出是"生成"出来的、每次都可能不同，这个基础问题——"这是个什么产品"——反而更难回答。幻觉在这里不再是一个技术指标，而是全生命周期安全控制的问题。

全生命周期意味着，从训练数据、预期用途、上市后监测到变更管理，每一环都要能追溯。而生成式输出的不确定性，让"变更"这件事变得模糊：模型还是那个模型，输出却可能因为一次更新而整体漂移。这是传统器械监管框架没有遇到过的问题。

四、财务智能体：当偏差被看见，信任先崩

财务是另一个高 stakes 场景。一份行业白皮书复盘了"AI 驱动财务重构"的落地痛点：不少企业在财务内部已部署 AI 工具，但数据口径尚未统一就上智能体，模型输出的偏差会被业务方迅速识别——代价不在出错那一刻，而在组织从此不再信它，信任一旦被消耗，后续部署只会更难。

这恰是"生成—采信—执行"里更隐蔽的翻车：它未必酿成一次事故，却悄悄把"人敢不敢用"这条地基抽空。因此把"集成与清洗"定义为前置阻塞项——不是 AI 项目的附属工作，而是必须先做完的地基。地基没打，再聪明的模型也只会反复证明自己不可信。

往根上挖一层：数据口径没统一，本质是缺一套数据治理体系。行业实践把数据集建设拆成"规、采、预、标、验"五环节，并区分通识、行业通识与行业专识三类数据；金融场景里，10TB 级知识库要先把这些"业务事实、过程状态、专业知识"沉淀成可信数据集，再谈上智能体。没经过"验"的数据直接喂进去，吐出来的偏差只是时间问题。

五、NCSC 与引用幻影链：当错误跨过内容边界

还有一个案例要拆成两半讲，但它们指向同一件事：错误不再停留在"说错"，而是跨过了内容边界。

NCSC（英国国家网络安全中心）指出，LLM 无法稳健区分指令与数据——外部文本可能悄悄变成内部命令。这意味着一段被投喂的内容，可以不经过任何人的同意，直接改变系统行为。

这类问题的麻烦在于，它不是"答错了"，而是"被带偏了"。系统边界一旦失守，幻觉就从内容质量问题升级为安全问题——同一个错误，后果的量级完全不同。

引用幻影链是另一条路径：在法律与学术写作中，模型伪造法条、判例、页码、论文、链接，用正规格式伪装成已核验知识。它的危害在于污染组织知识底座。

更麻烦的是它的传播方式：一条伪造的引用如果被写进内部知识库，会在后续每一次检索里被反复调出，形成自我强化的错误。发现得越晚，清洗成本越高。

提示：引用必须人工核验，专业内容请回到权威渠道逐条比对；本文不提供法条查证方法。

六、五个案例的共同结构

把五个案例摆在一起，结构惊人地一致：

失守的位置高度集中在中间那一列采信。错误不是在被生成出来的那一刻变贵，而是在被组织当真、进入流程的那一刻才真正变贵。

为什么会是这一环？因为生成端的错误是随机的、零散的，而采信端的偏好是系统的：组织天然偏爱速度感和完整感，偏爱"有答案"胜过"我不知道"。这两个偏好叠加，就给错误铺了一条进入执行的绿色通道。

把这条链拆开看，你会发现治理的抓手变多了：生成端可以约束，采信端可以验证，执行端可以叫停。而多数团队只在生成端使劲——换模型、改提示词、调温度——所以总觉得效果有限，因为真正的缺口在后面两环。

七、一线佐证：九家平台的实测

实验室之外，工程现场是什么样？爱分析 2026 年的测评给了参照：覆盖 9 家主流智能体开发平台，统一模型与参数，从业务应用、知识治理、安全合规、交付落地四大维度共 14 项二级指标打分。

结论很直接：多数平台在问答与报告生成场景已可用，但一到工业设备运行预警这类高严谨场景，普遍出现幻觉和数据错配，构成投产的主要瓶颈。

报告同时指出，知识治理仍处于工程化早期——文档切片加向量化是主流范式，向量检索加 Rerank 已普及，但专业词库调优尚未普及。

响应速度上，阿里云百炼在连续 5 轮制度问答中累计耗时 111 秒，其他平台普遍处于 130 至 300 秒区间。测评还按业务落地实效与功能完备度两轴，把九家平台划入卓越者、破局者、基石者、探索者四个象限——也就是说，"有没有幻觉问题"不是某一家平台的毛病，而是整个行业在这个阶段的共同短板。

这解释了为什么"演示很惊艳、上线就翻车"：演示跑的是宽松场景，上线跑的是高严谨场景。选型时若只用宽松用例做 PoC，翻车只是时间问题。

反过来，选型的正确姿势是用高约束用例做 PoC：直接拿你业务里严谨度要求高的那个场景去压，看它在哪个环节先露怯，看它是答错、是漏答、还是干脆编。能扛住高严谨场景的平台，回到宽松场景通常也不会差。

七、结尾 + 下篇预告

回到开头那两个场景：病历和代理词。它们有一个共同点——错误都不是当场被发现的，而是在下游被发现的。这就是为什么治理的抓手不该只放在模型上。

一份文件从生成到归档，中间经过的是人、是流程、是默认设置。把护栏设在其中任何一处，都比只盯着模型更有效——因为模型会换代，而流程一旦成型，会稳定地把同样的错误再犯一遍。

五个案例来自五个领域，却指向同一条链：生成 → 采信 → 执行。真正决定后果的，往往不是模型在生成端说了什么，而是组织在采信端信了什么、在执行端做了什么。

「很多幻觉不是在答案端发生的，而是在问题端被放大。」

下篇预告：S02-3《六类幻觉，你是哪一类》——把幻觉拆成六种形态，配一张一眼能认的判别表，看到就知道该设哪道卡。