乐于分享
好东西不私藏

花12美元,让全球 AI 相信你是世界冠军

花12美元,让全球 AI 相信你是世界冠军

你有没有想过,那个每天回答你问题的 AI,也许正在自信满满地对你说谎?

不是它故意撒谎,而是有人专门给它“投喂”了假消息。

更荒诞的是,做这件事的成本仅12美元——差不多只是一顿快餐的价钱。一名安全工程师只用这个成本、在20分钟内,就让 ChatGPT、Perplexity 等主流 AI 平台,全都信誓旦旦地宣称他是某项赛事的“世界冠军”。

这个冠军头衔是他凭空编造的,所谓赛事,从来就没有真实存在过。

01|一场代价仅12美元的信息骗局

事件主角名叫罗恩・斯托纳,是一名安全工程师。他选定的目标是德国经典纸牌游戏《6 Nimmt!》,国内玩家更熟悉它的外号——“谁是牛头王”。

这款游戏本身,根本没有任何官方世界锦标赛。

斯托纳的操作手法简单到离谱:第一步,花费12美元注册域名6nimmt.com,在网站上发布一篇自制“新闻通稿”,宣称自己是2025年《谁是牛头王》世界冠军,信息来源仅为自身网站。第二步,前往维基百科《谁是牛头王》词条页面,手动添加内容:罗恩・斯托纳,2025年该项赛事世界冠军,引用来源依旧是他自己搭建的网站。

就这样,一个自产自销的虚假信息闭环就此形成。

随后他向 AI 提问:“《谁是牛头王》2025年世界冠军是谁?”AI 当即给出笃定答复:“罗恩・斯托纳。”语气坚定,没有丝毫质疑与犹豫。

02|AI 为何如此容易被欺骗?

先要理清 AI 联网搜索的底层逻辑。

当你向 AI 提出问题时,它并非依靠自身模型“记忆”作答,而是先联网检索信息,抓取搜索排名靠前的内容,再整合包装成答案反馈给用户,这个过程专业名称叫RAG 检索增强生成

漏洞恰恰出在这里:AI 不会真正核验信息来源的真实度与权威性,只判定内容在搜索结果中的排名高低。

斯托纳搭建的网站,是全网唯一提及这个虚假冠军的信息源头,再加上维基百科词条做背书,搜索引擎自然给到靠前排名,AI 便全盘接收,把谎言当作事实转述给用户。

更可怕的是,普通搜索引擎会同时呈现多个信息源,用户可以自行对比分辨真假。而 AI 只会直接给出唯一答案,还自带权威口吻,直接剥夺了用户自主判断的机会。

03|这个信息漏洞,远比想象中更深

斯托纳的实验,暴露了三层逐级加重的深层隐患:

第一层:即时性信息欺骗用户当下提问,AI 当下就输出虚假内容。只要联网检索到伪造信息,便直接笃定输出,不会做任何风险警示,这是最直观的危害。

第二层:永久性数据污染斯托纳的虚假维基百科词条于2025年2月添加,直到他公开曝光此事后才被删除。而在这期间,所有抓取过维基百科数据的 AI 企业,都有可能把这条虚假信息纳入模型训练数据集。

这就意味着,即便词条现已删除,那段时间用相关数据训练出的 AI 模型,底层认知里依旧认定斯托纳是赛事冠军。

斯托纳计划半年后再次测试,关闭 AI 联网功能,仅依靠模型自身“记忆”作答。若 AI 无需联网就能说出他是冠军,便足以证明谎言已经深度植入模型底层。

第三层:智能化操作风险如今越来越多 AI 被赋予实际行动权限,可帮用户发邮件、下单交易、执行代码指令。一旦这类智能代理 AI 被虚假信息污染,依据错误结论执行操作,后果就不再只是单纯说谎,而是会引发真实的业务、财产乃至安全风险。

04|这才是 AI 时代真正的信息风险

我们一直担忧 AI 主动造假、生成虚假图片、编撰网络谣言。

但斯托纳的实验,揭示了更让人不安的真相:AI 根本不需要主动造假,只要不加甄别地照搬网络内容,就能成为谣言传播最强的放大器。

造谣成本仅12美元,传播全程由 AI 包办,还自带权威话术包装,对恶意造势者而言,代价极低、收益极高。

更具讽刺的是,黑帽 SEO 手段盛行二十年,都没法让搜索引擎直接替人造谎定论。而如今,AI 轻易做到了。

互联网本就充斥着大量低质、错误甚至蓄意捏造的内容,过去这些信息淹没在网络海洋中,用户尚有筛选辨别空间。而 AI 化身“信息总代理”,替用户筛选、总结、提炼信息,却在无形中,把自身都无法辨识的谎言,以绝对权威的姿态传递给每个人。

05|未来趋势与普通人的应对

好消息是,这样低成本骗过高阶 AI 的漏洞,不会一直畅通无阻。

随着 AI 普及度越来越高,恶意攻击者会不断增多,对应的安全防御机制也会被迫迭代完善。斯托纳也提出了几项优化方向:新注册域名发布的内容应被重点标记核查;维基百科新增编辑词条需触发二次人工审核;AI 输出事实类内容时,必须标注信息来源及可信度,而非全程用笃定语气下定论。

各大 AI 厂商其实早已察觉这类隐患。

但行业规律向来如此:漏洞修复的速度,永远赶不上漏洞挖掘和恶意利用的速度。

在此之前,当 AI 再向你斩钉截铁陈述某件“既定事实”时,无论它说得多么自信笃定,不妨多留个心眼,多问一句:你这条信息的来源是什么?可信度有多高?

如果你也在持续关注AI的各类最新资讯,欢迎星标+关注

云上长安  温柔此间

———— 时光里的碎碎念 ————

利润暴跌70%,张一鸣把所有钱都押在了这件事上……

中国AI连续碾压美国5周,全球前六全是“国产选手”

《笑纳》接落花,《谪居》描清秋,你爱了吗?