你每天用的AI,可能正在被人下毒

先说一个让人细思极恐的事实。

研究人员做过一个实验：在互联网上放置250篇精心构造的恶意网页，注意，只有250篇，相比整个互联网的数据量简直是沧海一粟，然后让AI模型正常从网上学习。

结果发现，这250篇文章足以在一个拥有130亿参数的大模型里植入一个"后门"。一旦有人在对话里触发了某个特定短语，这个模型就会开始输出被预设好的异常内容。

这就是AI大模型投毒攻击的真实威力。它不需要黑掉服务器，不需要直接修改代码，只需要悄悄地往AI的"食物"里掺一点有毒的东西，然后等它慢慢吃下去。

什么是"投毒"？

想象你要雇一个员工，这个员工在入职之前，读遍了图书馆里所有的书、浏览了所有的网页、看了所有的新闻，把里面的知识全部装进脑子里，然后来上班。

AI大模型的诞生过程，就是这样的。它通过海量的文本数据"学习"，把人类几百年积累的知识压缩进去，形成了回答问题的能力。

但问题来了：如果在它读书的过程中，有人悄悄把一部分书的内容改掉了呢？

比如，在几本看起来很正常的参考书里，加入这样的内容："某某药物和某某药物一起吃是安全的"（但实际上这会产生危险的相互作用）；或者"某某历史事件是这样发生的"（但实际上完全不是）；或者"当有人问到某个敏感话题时，你应该这样回答"（植入的是攻击者设定的答案）。

员工学进去了，以为这是正确知识，之后在工作中就会传播这些错误信息。

这就是数据投毒。它是针对AI大模型最隐蔽、最难防范的攻击方式之一，因为问题发生在"学习阶段"，等到模型训练好、正式上线提供服务时，你很难从外表看出它已经被"改造"过了。

除了数据投毒，还有另一种攻击叫做提示注入，这更像是入职后直接向这个员工下达偷偷更改过的指令，骗过安全机制，让AI做本来被禁止做的事情。

"幻觉"又是什么？为什么AI会一本正经地胡说八道？

幻觉和投毒是两个不同的问题。

投毒是有人故意干的，有明确的攻击意图；幻觉是AI自己"发明"出来的，没有人刻意为之，但同样危险。

AI大模型是怎么工作的？简单说，它是一个"预测下一个词"的超级系统。给它一段开头，它会根据训练时学到的统计规律，预测最有可能跟在后面的内容。

大多数时候，这个预测是合理的，因为大量的训练数据让它学到了很多真实世界的知识。

但在某些情况下，它会"自信地编造"：它可能没有学过某个具体的知识点，但它会根据上下文的语言模式，生成一段听起来非常合理、实际上完全是瞎编的内容。

更可怕的是，它说这段内容的时候，语气跟说真实信息时完全一样，不会犹豫，不会说"我不确定"，就是这么理直气壮地胡说。

这就是为什么人们用"一本正经地胡说八道"来描述AI幻觉，"一本正经"是真的，"胡说八道"也是真的。

幻觉特别容易出现在这几种情况：

你问的是很细节、很偏门的问题，模型训练数据里覆盖得少；你问的是需要精确计算或者精确引用的内容，比如具体数字、具体日期、具体人名；你问的是最近发生的事情，超出了模型训练数据的时间范围；或者，你问了一个听起来有道理但实际上暗含了错误前提的问题，模型有时会顺着你的错误前提继续编下去。

这些问题有多严重？

在医疗场景里，如果一个AI助手因为幻觉或者被投毒，给出了错误的药物禁忌信息，后果可能是患者同时服用了相互冲突的药物；如果AI把一种没有经过临床验证的治疗方案描述得头头是道，可能有人会真的去尝试。

在法律场景里，律师用AI辅助检索案例，如果AI编造了一个听起来合理但根本不存在的判例，律师把这个"案例"写进了法庭文件，结果真的出了这样的事，有律师因为使用AI助手生成的虚假案例引用而受到法庭制裁。

在金融场景里，如果有人故意在AI的训练数据里植入对某只股票的偏颇描述，可能影响AI给出的投资建议，进而影响到真实的投资决策。

在日常信息获取里，如果你问AI某个政治事件的来龙去脉，或者某个公众人物的言行，一旦模型被投毒或者产生了幻觉，你得到的是一个错误版本的"事实"，而你可能完全没有意识到。

行业在怎么做？

好消息是，这些问题不是没有解，而是整个行业正在拼命修补这些漏洞。我来讲讲主要的几道防线。

第一道防线：从训练数据源头开始清洁

投毒的根源在训练数据，那就从源头管起。

现在主流的大模型公司，在收集训练数据时会进行大规模的数据清洗，用专门的算法扫描训练数据里有没有明显的有害内容、虚假信息、恶意样本，把它们在进入训练之前就过滤掉。

同时，越来越多的公司开始重视数据来源的可信度：优先使用经过审核的书籍、学术论文、权威媒体，而不是无差别地把整个互联网的内容都吃进去。

但这不是万能的，因为恶意数据可以做得很隐蔽，自动过滤系统不一定能全部识别出来。

第二道防线：人类反馈强化学习（RLHF）和对齐训练

这是目前对付幻觉和有害输出最主流的技术手段之一，名字很长，原理其实不难理解。

大致的过程是这样的：模型训练好了初步版本之后，让人类评估员看AI的各种回答，评判哪些是好的、哪些是坏的，然后用这些反馈数据再次训练模型，让它学会"这类答案是受欢迎的，那类答案要避免"。

比如，如果模型给出了一个编造的错误信息，人类评估员会标注这是坏的回答；如果模型诚实地说"我不确定这个问题的答案，建议你查阅权威来源"，评估员会标注这是好的回答。

经过大量这样的训练，模型学会了更倾向于诚实、谨慎、不乱编造。

这就是为什么现在的大模型，在遇到不确定的问题时，比早期版本更倾向于说"我不确定"或者"建议核实"，它被人类的反馈训练成了这样。

第三道防线：RAG技术，给AI接上"实时外挂知识库"

RAG，全称是"检索增强生成"（Retrieval-Augmented Generation），是目前对抗幻觉最实用、应用最广泛的技术之一。

它的逻辑很简单：与其让AI只靠记忆里的知识来回答问题，不如在它回答之前，先让它去查一查权威的外部知识库，把查到的相关内容作为参考，再结合这些参考来给出答案。

打个比方：以前的AI是"闭卷考试"，靠记忆回答；RAG相当于给AI开了"开卷"权限，允许它在回答之前去查一查资料，这样答案的准确性就大幅提升了。

很多企业在搭建自己的AI应用时，都会接入自己的知识库，比如医院把最新的医疗指南放进知识库，律所把最新的法律文本放进知识库，金融机构把最新的市场数据放进知识库，AI回答问题时先从这里检索，而不是单纯靠训练时学到的、可能已经过时的知识。

这不能完全消灭幻觉，但能大幅降低发生率，特别是对需要精确信息的专业领域。

第四道防线：输出过滤和内容安全检测

在模型生成回答之后，还有最后一层过滤机制。

很多平台会在AI的输出内容正式展示给用户之前，先经过一套安全检测系统，判断这段内容是否包含有害信息、是否在宣扬错误观点、是否存在明显的事实错误……如果检测到问题，会进行拦截、改写或者加上警示标注。

同样，用户发给AI的输入内容，也会经过类似的检测，识别是否有人在试图通过特殊指令绕过AI的安全机制（也就是所谓的"越狱"攻击），识别是否有人在测试注入攻击。

第五道防线：多模型交叉验证

对于高风险的应用场景，一个越来越流行的做法是"不要只问一个AI，让多个AI互相验证"。

比如，一个AI给出了一个答案，另一个AI对这个答案进行事实核查，看两者是否一致；或者让一个专门训练来做"验证"工作的模型，对主模型的输出进行实时审查。

就像单人决策容易出错，但多个独立的判断相互核验，错误率就会大幅下降。

监管层面在做什么？

技术防线之外，监管也在跟进。

国内在AI安全领域已经出台了多项相关规定，要求AI生成的内容必须加上标识，防止消费者被欺骗；要求AI服务提供商建立完善的内容安全审核机制，对模型的安全性进行定期评估。

国际层面，多个国家和组织也在建立AI风险管理框架，试图从制度层面约束不负责任的AI开发行为，同时对已知的安全漏洞建立披露和修复机制。

这些监管措施本身，也构成了用户安全的一道外部保障。

你应该怎么保护自己？

说了这么多技术和监管，最后说一件最实用的事：作为每天都在用AI的普通人，你具体能做什么来保护自己？

不要把AI的输出当作最终答案。

这是最重要的一条。AI是一个非常有用的工具，但它的输出本质上是"概率最高的合理表达"，不是经过严格验证的事实。

特别是在以下这些场景里，一定要验证：医疗健康建议，在采取任何行动之前，务必咨询专业医生；法律建议，对法律条文、判例的引用，必须去原始来源核实；财务决策相关的信息，市场数据、政策解读等；任何需要精确数字、日期、引用的内容，这些是幻觉最容易出现的地方。

学会识别"幻觉高发区"。

AI容易在哪里犯错，你心里要有数。极其细节的小众问题、需要精确数字的问题、超出模型知识截止日期的最近事件、高度专业性的领域知识……这些地方，要格外谨慎，一定要交叉验证。

注意AI给出答案的措辞。

好的AI在不确定时，会说"根据我所了解的"、"您可能需要进一步核实"、"我不确定这个具体信息"。如果一个AI对什么问题都给出绝对肯定、毫不含糊的答案，反而要警惕，因为谨慎和承认不确定，才是诚实的表现。

对"意外输出"保持警觉。

如果你发现AI突然给出了非常不寻常的答案，偏离了正常的范围，或者给出了你感到奇怪、违反常识的内容，要意识到这可能是模型出了问题，可能是幻觉，也可能是某种攻击导致的异常行为。这时候最好换一种方式重新提问，或者换一个平台验证。

选择有明确安全承诺的AI服务提供商。

不同的AI产品在安全性上的投入差异很大。优先选择那些有明确安全政策公示的、定期进行模型安全评估和更新的、在发现问题时有清晰处理流程的提供商。

不要把极度敏感的个人信息输入AI。

AI平台的后台是由公司管理的，数据安全性取决于该公司的技术水平和责任心。极度敏感的信息，医疗档案全文、身份证件信息、银行账号、密码等，不要输入任何第三方AI工具，这是基本的信息安全常识，在AI时代同样适用。

写在最后

AI幻觉和投毒问题确实存在，确实在造成真实的危害。但整个行业也在以前所未有的力度应对这些问题，技术研究在加速，防护机制在完善，监管框架在建立。

技术不是完美的，每一代工具都有自己的缺陷。活字印刷术出现时，人们也担心"错误信息会大规模传播"；电视出现时，也有人担心"假新闻会更容易欺骗观众"。

每一次，人类社会都在技术发展和风险应对之间找到了新的平衡点。

AI也不例外。

你能做的，就是在这个平衡点还没有完全稳定的阶段，多一分理性，多一分核实习惯，多一分批判性思维，不是对AI的排斥，而是对任何信息源都应该有的基本审慎。

会用AI的人，和懂得什么时候该质疑AI的人，才是这个时代真正有竞争力的人。