AI幻觉

一、定义

AI幻觉（Hallucination）：AI生成内容看似合理、逻辑通顺，但事实错误、细节编造或与上下文矛盾，俗称“一本正经地胡说八道” 。

- 本质：概率预测（下一个词），非真实理解与逻辑推理。
- 无主观“撒谎”，是模型机制的固有特性。

二、两类典型幻觉

- 内在幻觉（忠实性）：与输入/上下文矛盾。
例：问A答B、前后回答自相矛盾 。
- 外在幻觉（事实性）：违背客观世界事实。
例：编造不存在的论文、错误历史日期、虚构人物经历 。

三、为什么会产生（核心原因）

1. 概率生成机制：只学文本统计模式，不懂真实语义；信息缺失时强行“补全”。
2. 训练数据缺陷：数据过时、错误、矛盾、重复；数据污染导致“学错”。
3. 模型能力边界：上下文窗口有限，长文本易遗忘；知识 cutoff，不懂最新信息。
4. 奖励机制偏差：训练偏好流畅度＞真实性，通顺但错误更易被选中。

四、如何识别

- 细节过于具体（编造人名、日期、文献）。
- 回答过度自信、语气绝对。
- 跨轮提问前后不一致。
- 涉及冷门/专业/时效性强内容时风险高。

五、怎么减少（实用方法）

用户端（最有效）

- 用明确Prompt：“只基于提供的材料回答，不确定就说不知道” 。
- 分点/结构化输出，降低编造空间 。
- 追问验证：换角度提问，看是否一致。
- 关键事实必核对（人名、日期、数据、来源）。

系统端

- RAG检索增强：回答前先查可信数据库 。
- 联网/工具调用：实时搜索、计算器、代码执行。
- 不确定性校准：不确定时主动承认，不硬编。

六、一句话总结

AI幻觉不是bug，是特性——模型为了“通顺”而牺牲“真实”。使用时必须交叉验证关键信息，尤其在医疗、法律、金融等高风险场景。

人类大脑，必须强化，训练，其它的都是浮云！