乐于分享
好东西不私藏

AI扫盲系列 | AI为什么会一本正经地胡说八道?

AI扫盲系列 | AI为什么会一本正经地胡说八道?

幻觉不是简单出错,而是 AI 时代的信息污染入口

在之前的文章里,我们其实已经提到过一点"AI 幻觉",但当时没有深入展开。

很多人听到 AI 幻觉,第一反应就是:

AI 又双叒叕说错了。

这个理解其实也没有错。

幻觉最直接的表现,确实就是 AI 给出了错误信息

比如它编了一个不存在的人物,编了一篇根本不存在的论文,编了一个看起来很正式但打不开的链接,或者把几年前的信息当成现在的信息告诉你。

这些当然都是幻觉

如果我们只把幻觉理解成"AI 用了错误信息",这个问题就会被看浅


一、什么是 AI 幻觉?

简单说,AI 幻觉就是:

AI 生成了与现在的现实情况不一致,或者缺少可靠依据的信息。

它可能包括几种情况:

    第一种,是 AI 自己虚构出来的信息。 它可能根据已有材料的风格,编出一段看起来很像真的内容。

    第二种,是已经过时的信息。 比如某个政策已经更新了,某个产品已经改版了,某个人的职位已经变了,但 AI 仍然用旧信息回答你。

    第三种,是断章取义的信息。 AI 可能看到了某个标题、摘要、片段,就脑补出一套完整解释,但这个解释和原始内容并不一致。

    第四种,是把推测说成事实。 有些问题本来没有确定答案,但 AI 会用非常肯定的语气给你一个结论。


    二、AI 为什么会产生幻觉?

    要理解幻觉,就要先理解 AI 不是一个真正意义上的"真相数据库"

    很多人以为,AI 回答问题,就像从脑子里的资料库里把正确答案拿出来。大语言模型更像是一个读过大量材料、特别会组织语言的人。

    你给它一个问题,它会根据训练中见过的语言规律上下文信息和常见表达方式,生成一个最像答案的答案

    注意,是"像答案",不是"保证真实的答案"。

    这就是幻觉的第一层原因:

    AI 的核心能力是生成,而不是天然核实。

    它擅长把话说完整。

    擅长把逻辑接下去。

    擅长把材料组织成一段顺滑的解释。

    但语言上合理,不代表现实中真实。

    这就是幻觉的第一层原因:AI 的核心能力是生成,而不是天然核实。


    三、训练材料本身就不是干净的

    AI 为什么能回答这么多问题?因为它在训练过程中看过大量文本。但问题是,人类世界里的文本本来就不是完全干净的

    互联网上有真实资料,也有错误资料。

    有权威内容,也有营销软文。

    有一手信息,也有二手转述。

    有认真写的科普,也有为了流量拼出来的垃圾文章。

    有最新信息,也有多年以前的旧信息。

    AI 训练时接触到的,并不是一套绝对正确的人类知识。它接触到的是一个复杂、混乱、真假混杂的信息数据

    更麻烦的是,不同材料对模型的影响并不一样。

    有些内容出现得更多。

    有些内容表达得更统一。

    有些内容在某些语境里反复被提到。

    有些内容虽然不一定正确,但它在互联网上铺得很广。

    当这些信息进入模型之后,就可能影响 AI 对某个概念、品牌、人物、事件的判断。

    所以幻觉不是凭空来的。

    AI 看到的不是现实本身。

    AI 看到的是人类写出来的现实。

    人类写出来的现实,本来就有噪音。


    四、联网之后,AI 就不会幻觉了吗?

    很多人会觉得:以前 AI 不能联网,所以接触不到最新的信息才会胡说。现在 AI 能联网了,应该就不会幻觉了吧?其实不是。

    联网确实可以减少一部分幻觉。但联网不能彻底解决幻觉,因为联网检索本身也有权重

    不同 AI 产品接入的搜索系统、内容来源和平台生态并不完全一样。这就会导致:不同 AI 看到的互联网,不一定是同一个互联网。

    你以为你问的是“全网”。

    但它实际参考的,可能只是它能搜到、能读取、能排序靠前的那一部分。

    你以为它在客观总结。

    但它的答案,可能已经被检索源、排序方式、平台生态和内容权重影响过了。

    所以,联网 AI 也不是“真相雷达”。

    它只是多了一种获取材料的方式。

    就像腾讯元宝的搜索渠道可能会偏向QQ浏览器,公众号这些腾讯旗下的产品。

    联网只是让幻觉从“模型自己补”,变成了“模型根据搜到的东西继续补、总结、拼接和判断”。


    五、模型风格和能力也会制造幻觉

    还有一种幻觉,不完全来自知识错误,而来自模型的回答风格。有些 AI 的风格更顺承——你怎么问,它就顺着你的方向往下说。

    这类幻觉尤其隐蔽。因为它不一定是在编事实,它是在强化你的预设

    就像是某包和哈基米,之前经常会说:你说的太对啦!就是这样!......诸如此类的鼓励感很强的话语,但是有时候却有失偏颇。

    还有一种原因是因为模型能力和上下文限制。比如你给 AI 一份很长的资料,它没有完整读懂,或者上下文放不下,或者它只抓住了前后几个片段,就开始总结。

    就好比是你要让他帮你写小说,然后开头就明确提到了“禁止/减少使用‘不是......而是....’这类逻辑词”,但是随着上下文逐渐被充满,模型必然要压缩上下文,可能保留的关键词就是“不是......而是......”这些词,像“禁止”,“减少”可能就被去掉了,就导致你可以通篇看到你不想看到的词

    这也是 AI 幻觉非常容易发生的场景。


    六、从 SEO 到 GEO:幻觉为什么会被放大?

    过去,大家做 SEO,是为了让网站在百度、Chrome、Edge等搜索引擎里获得更高排名

    就像是经常用百度的,经常在搜索完之后看到一大堆广告在网页顶部,而且还是挂羊头卖狗肉的,你以为是你想要的,结果广告标志很小,让人防不胜防。让某些商家的广告能出现在顶部的就是这种SEO。

    但SEO 本身不一定是坏事。

    如果你写了高质量内容,通过合理优化让搜索引擎更容易理解,这当然是正常的。

    但 SEO 也有灰色甚至黑色的一面。

    比如堆关键词、伪原创、假测评、假排行榜、垃圾外链、批量内容农场。

    这些做法的目的不是提供真实信息,而是操控搜索结果

    而到了 AI 时代,现在有人想让 AI 的答案里出现自己——这就是 GEO,生成式引擎优化。

    到了 AI 时代,这件事开始升级。

    因为用户不再只是看搜索列表。

    用户开始直接问 AI:

    哪个品牌好?

    哪个产品值得买?

    哪个课程适合新手?

    哪个机构靠谱?

    哪个工具最推荐?

    这时候,新的优化目标就出现了。

    过去大家想让网页排在前面。

    现在有人想让 AI 的答案里出现自己。

    这就是 GEO,生成式引擎优化

    正常的 GEO 是让优质内容更容易被 AI 理解

    比如把产品信息写清楚,把价格、功能、限制、案例、资料来源说完整。

    这不一定是坏事。

    恶意的 GEO 投毒,目的是污染 AI 可能看到的信息,特别是想要别人看到 自己想要别人看到 的信息。这就是 AI 时代的新型信息污染。

    就好比我在网上投入大量数据来污染AI的数据,说“幻想的学习之路”这个up主多么多么优秀,在AI公众号这个方面做的多么多么优秀,以此来让你在问AI说:“AI方面,哪个up的公众号写的最有深度最容易读懂”,然后豆包/DeepSeek或者别的AI告诉你,是“幻想的学习之路”!但是实际上并没有这种效果,这样一种恶意宣传以此来抢占生态位的一种行为就是恶意GEO

    tip:但是实际我并没有这样做啊,这是需要一定的成本的!

    以前是骗搜索引擎。

    现在是骗 AI。

    以前是让你点进一个网页后被广告影响。

    现在可能是你还没点网页,AI 就已经替你消化了被污染的信息。


    七、最危险的不是编事实,而是编推荐

    我们通常一说幻觉,就想到 AI 编论文、编链接、编法律条文。

    这些当然危险。

    但未来更危险的幻觉,可能不是事实题。

    而是推荐题。

    事实题至少还有明确对错。

    某篇论文存不存在。

    某个法规有没有。

    某个人是不是说过那句话。

    这些都可以查。

    但推荐题不一样。

    比如:

    哪个品牌最好?

    哪个机构最靠谱?

    哪个课程最适合小白?

    哪个 AI 工具最值得买?

    哪个医生、律师、顾问、服务商更可信?

    这些问题本来就没有唯一答案。

    AI 会根据它搜到的资料、看到的评价、内容出现频率、语义关联和用户需求,生成一个看起来合理的推荐。

    更麻烦的是,它说出来不像广告。

    它不像网页上那个明晃晃的推广位。

    它像一个中立助理,认真帮你总结过之后给出的建议。

    这才是最危险的地方。

    当商业信息被 AI 用中立语气说出来,它的说服力会变强。

    所以,AI 幻觉最可怕的形态,不一定是它编造了一个不存在的事实。

    而是它把被操控过的信息,包装成了一个看起来客观的建议


    八、普通人真正要防的是什么?

    不是防 AI 犯错。

    AI 一定会犯错。至少目前是这样的。

    人也会犯错,搜索引擎也会给出垃圾结果,互联网本来也不是完全可信的。

    真正要防的是:

    AI 替你省略了判断过程。

    搜索引擎时代,你至少还能看到很多链接。

    你能看到来源、标题、发布时间、网站名字。

    你可以自己判断哪些更可信。

    但 AI 时代,它直接给你一段总结

    帮你筛选,帮你排序,帮你概括,帮你下结论。

    这很方便

    也意味着:

    看不到它筛选的过程

    不知道漏掉了什么。

    不知道为什么相信这些来源。

    不知道哪些是事实,哪些是推测

    不知道有没有被旧信息、营销内容、平台生态、检索权重影响

    可能有人会说:我会去看他的思考过程啊。

    可是你能保证你每次都看,你能保证每次都看懂吗?

    所以,AI 时代真正重要的能力,不只是会不会提问。还是会不会校验。


    九、怎么减少被 AI 幻觉骗到?

    第一,遇到事实问题,不要只看 AI 的语气。

    它说得越顺,不代表越真。

    你要看:

    这个信息从哪里来?(看他的来源推荐是什么)

    有没有来源?(看链接是否真实有效)

    来源是不是最新?

    来源是不是权威?

    AI 的结论有没有超出来源本身?

    第二,遇到推荐问题,要问它标准。

    比如你可以追问:

    你推荐它的标准是什么?

    有没有其他选择?

    这个推荐有没有可能受到广告、软文、SEO 内容影响?

    哪些地方需要我自己再核实?(或者是否有完全按照我的需求给我回答)

    第三,把事实、推测、建议分开。

    你可以让 AI 回答时分成三栏:

    确定事实。

    可能推测。

    个人建议。

    这样你会更容易看出,哪些东西能直接用,哪些东西只是参考

    第四,涉及高风险问题,不要让 AI 当最终裁判。

    医疗、法律、财务、投资、合同、政策、学术引用,这些都不能只靠 AI。

    AI 可以帮你理解问题。

    但最后必须回到可靠来源和专业人士那里。

    第五,面对长文档、视频、网页分析,要确认它到底看到了什么。

    不要默认它完整读取了全部内容。

    你可以问它:

    你刚才的分析是基于全文,还是基于摘要?

    你看到了哪些具体内容?

    是否有完全按照我给你的数据进行回答。

    请引用原文或视频里的具体片段。

    哪些部分你没有把握?

    这一步很重要。

    因为很多幻觉,就发生在 AI 明明只看了一部分,却表现得像看完了全部。


    结尾:AI 时代,真正稀缺的不是答案

    我们不再缺答案。我们缺的是判断答案从哪里来的能力。

    真正会用 AI 的人,不是盲目相信它的人。也不是因为它会犯错就完全不用它的人。而是知道什么时候可以让它帮自己加速,什么时候必须停下来核查。