夜雨聆风学习资料网

ARTICLE · 1185397

大反转!你问AI的那些答案,全是它现编的

大反转!你问AI的那些答案,全是它现编的

上个月,我一个朋友差点在家里吵起来。

他爸血压高,常年吃一种药。那天他把药名连着「能不能和柚子一起吃」一起丢给 AI,拿回来的回答特别周全:先给结论,再讲机制,末尾还贴心补了一句「具体请遵医嘱」。他把截图甩进家庭群,语气挺得意。

他姐没接话,转手把药盒拍给社区医院的医生。医生回复得很干脆:这个药没有你说的那种相互作用记录,别自己吓自己。

那段看起来像模像样的解释,是 AI 当场写出来的。

我不信邪,把同一个问题换了三种问法又问了一遍。三份答案的细节互相打架,语气却一样笃定。

它在接龙,不在查资料

我们习惯把提问想象成一次检索:你问,它去库里翻,翻到了再答。

大模型不是这么干的。它做的事更像文字接龙,从上文推测下一个最可能出现的字,一个字一个字往下推。它追求的是这段话读起来顺,不是这段话站得住。

OpenAI 和佐治亚理工学院合作的一项研究给过一个数学上的说法:模型的生成错误率至少是分类错误率的两倍。翻成大白话,让它判断一个答案对不对,它已经会错;让它直接把答案写出来,错得更多。这个下限,就算训练数据干净得挑不出毛病也抹不掉。

所以问题越冷门、越依赖精确数字、越讲时效,它越容易给你一段漂亮的空话。

假的真,比真的还真

难防的地方不在于答案错了,在于答案的格式太对。

段落分层,条理清楚,引用有作者、有年份、有期刊、有页码。眼睛扫过去,第一反应是「这肯定查过」。

有个研究团队做过一场挺狠的实验:他们编了一个根本不存在的眼病名字,写了两篇伪造的预印本挂到网上。没过多久,AI 搜索引擎开始一本正经地介绍这种病的患病率,ChatGPT 也帮用户分析症状算不算这种病。后来一篇正式发表的论文引用了那篇伪造的预印本,写它「是一种新兴类型,机制仍在研究中」。那篇论文最终被撤稿。

假源头一旦被 AI 吃进去,会顺着引用链一路往上爬。

代价不只是答错

法院那边早就出过事。2023 年,纽约一位律师用 ChatGPT 写诉状,引了六个不存在的判例,被判罚款五千美元。今年四月,全球顶尖的 Sullivan & Cromwell 律所向破产法庭承认,自己的文件里有四十多处 AI 编造的引用,其中还包括根本没被说过的「法庭原话」。有人专门维护这类案例的数据库,如今已经攒了一千多起。

学术圈的窟窿更大。哥伦比亚大学护理学院的研究者 Maxim Topaz 发现自己被 AI 悄悄塞了一条假引用,尴尬之余去查了大盘:审计约 250 万篇生物医学论文、9700 万条引用,查出 4046 条伪造参考文献,散落在 2810 篇已经正式发表的论文里。2023 年大约每 2828 篇论文有一篇含假引用,今年前七周变成了每 277 篇就有一篇。最要命的是,审计的时候这些论文有 98.4% 没有被撤稿,没有更正,什么处理都没有。

日常健康也没逃掉。今年一月,ECRI 把「误用 AI 聊天机器人」列为年度头号健康技术风险。每天有超过 4000 万人拿 ChatGPT 问跟健康有关的事。

医学、法律、学术,这几个地方为什么格外危险?因为它们的答案长得都太像答案了。

几个立刻能用的防身动作

把它当实习生,别当图书馆。实习生写得又快又工整,但稿子你得自己审。

凡是带着数字、名称、法条、论文、药名、时间的,一律自己点开原文核一遍。它附的链接如果点进去是 404,那段话基本可以作废。

同一个问题换种问法问第二遍。两次说法对不上,说明它在飘,这条答案不能直接用。

逼它交代把握有多大。直接追问「这条你有多大把握,依据是什么」,它的措辞会明显松下来,那个松下来的语气才更接近真相。

用药、签合同、考试、投资这类事,别让它拍板,让它列选项。拍板权留在自己手里。

我反复在想的那件事

AI 没有骗人的动机,它只是不会说「我不知道」。

人类世界里,一个人说得笃定,通常是因为他真的知道。我们把这条经验原样搬到了 AI 身上,于是一段流畅的文字自动等于一次可靠的查询。这个等号是错的,而且错得很安静。

真正让我后背发凉的,是它出错的时候一点都不像在出错。

所以该问自己的已经不是「AI 会不会骗我」,而是「我核过了吗」。

你被 AI 编过最离谱的一次是什么?评论区说说,我挑几条整理成下篇的避坑清单。

觉得有用,就转给那个遇事不决先问 AI 的朋友。

相关学习资料