乐于分享
好东西不私藏

大话AI·04|一本正经胡说八道是种什么病

大话AI·04|一本正经胡说八道是种什么病

还记得开篇那个名场面吗——我根本没养猫,小硅却一本正经建议我"带猫去看牙医"。这一篇,我们来解剖 AI 最出名的毛病,搞懂它为什么会这样、怎么在现实中坑人、以及怎么防。

这个毛病有个专门的名字,叫幻觉(Hallucination):AI 会非常自信地,编造出根本不存在的事实。编假论文、假名人名言、假法律条款、假历史事件……而且编得有鼻子有眼,语气笃定得让你不敢怀疑。

这是目前所有大模型的通病。搞懂它为什么会这样,你才能真正安全地用 AI。

🤔 它为什么要骗我?

其实小硅不是"故意"骗你。根子还在第 1 篇那句话——它是在"猜最顺口的话",不是在"查证事实"。

具体有四个原因:

它不会"空着"。遇到不知道的问题,它不会像人一样说"这我真不清楚",而是会顺着语感,猜一个"看起来最合理"的答案填上去。就像考试遇到不会的题,硬着头皮也要蒙一个——区别是它蒙得特别理直气壮。

它没被教会"承认无知"。训练时它学的是"要给出流畅、完整的回答",所以"我不知道"这句话,反而不太符合它的本能。

它的知识有"保质期"。它学的东西在训练完那一刻就定格了。之后发生的新事、你身边的私事(比如你到底有没有养猫),它压根不知道,只能靠猜。

聊太长它会"脑补"。还记得第 2 篇的上下文窗口吗?对话太长,前面的它忘了,就自己编一个来圆场。

⛷️ 滚雪球效应:越编越真

这一条值得单拎出来讲,因为它是幻觉最狡猾的形态。

还记得第 1 篇讲的"自回归"吗?小硅是一个字一个字往外蹦的,每蹦一个字都顺着自己已经说出口的话继续接。问题来了——如果前面它不小心编了一个假前提(比如捏造了一本不存在的书),后面它并不会自我纠正,而是顺着这个假前提越圆越像真的。书名是假的 → 顺手编一个"作者" → 再编一句"出版社评价" → 最后给你来段"豆瓣评分 8.7"。

一个小谎不停,后面雪球越滚越大,直到整段话看起来比真的还真。这就是"滚雪球效应"——不是它存心骗你,是它被自己前面随口编的那一句给带跑了,然后回不来了。

打个比方:小孩撒了一个小谎"我作业交了",然后妈妈追问"交给谁了?""什么时候交的?"——他只能一个接一个地编下去。小硅的窘境一模一样,只不过它编得更丝滑、更自然,反而比结巴的小孩更难被识破。

你可能觉得"我自己能分辨"。但现实告诉我们:当幻觉穿上"专业外套",连老手都会中招。

💥 真实名场面:律师翻车事件

2023 年,纽约一位律师用 ChatGPT 帮他查案例。小硅"查"完,一口气给了六个判例,写得头头是道——案件名、法院、年份,全都有。律师没多想就写进了法庭文件。

结果对方律师一查:这六个案例,一个都不存在。全是 AI 编的。

法官震怒,直接罚款五千美元,还在判决书里写:"这些引用是由人工智能凭空捏造的。"

这事登上了全球新闻头条,成了 AI 幻觉最经典的"反面教材"。律师不是蠢——他栽在了"AI 说得太自信了,自信到让专业人士也放下了警惕"。

教训就一句:AI 越是言之凿凿的"事实",越要自己去核。

🛡️ 怎么防?五招防坑口诀

幻觉不是绝症,记住这五招,能挡掉绝大部分:

要事必核:数字、日期、人名、引用、法条——凡是关键信息,自己再查一遍,别直接信。

给它小抄:把相关资料贴给它,让它"根据这段材料回答",而不是凭空回忆。(这招太重要了,下一幕专门讲,它有个名字叫RAG。)

允许它认怂:提问时加一句"不确定就说不确定,别编",能明显减少它硬编。

追问出处:让它给出处和链接。编的东西,往往给不出真实可查的来源——一追就露馅。

反问逼供:直接问它"你确定吗?给我原始来源链接。"这招不是万能的,但能逼它暴露虚构——如果它给的链接打不开、或者换个说法就前后矛盾,基本实锤是编的。(冷知识:有人测过,简单一句"你确定?"就能让它改口承认"抱歉,我编的"——它的"自信"其实很脆弱。)

🎁 这一篇带走的

AI 最危险的时候,不是它答不出来,而是它"错得特别自信"——而且越编越圆、越圆越真。

把它当成一个知识渊博但偶尔信口开河的朋友:听他的思路可以,但重要决定,一定自己复核。记住滚雪球效应——它不会自我纠正,只会顺着自己的假话越编越远。你越懂它会在哪儿翻车,就越能把它用得又爽又安全。


第一幕完。到这儿,你已经认识了小硅是谁、它怎么"思考"、怎么"划重点"、怎么被养大、以及它为什么会犯轴。

下一幕《调教小硅》预告:光认识它还不够——同样一句话,为什么有人能把它使唤得团团转,有人却只会得到一堆废话?下一幕,教你怎么把小硅调教成好用的帮手。

相关学习资料