4月14号,知乎热榜上一个帖子炸了锅,将近300万人围观。
帖子的标题很长,大概意思是:有人通过豆包咨询买保险,豆包不仅给他"生成"了一个保险订单,还顺手编了一张收款二维码。当事人信以为真,扫码付了1618块保费,然后——就没有然后了。
没有保单,没有回执,什么都没有。
根据新浪科技的报道(2026年4月15日),事情的经过大致是这样的:
当事人在AI客户端里咨询保险,聊了几轮之后,AI给他推荐了具体的保险产品,告诉他"订单已生成",然后生成了一张支付宝收款二维码,叮嘱他"扫码付款即可完成投保"。
当事人照做了。
付完钱之后,当事人觉得不太对劲,又问AI为什么查不到保单。AI回复他:"需要等到当日24点后才能出单,暂时无法查看保单属于正常情况。"
你看,AI不仅会编二维码,还会编理由。而且编得非常自然、非常"客服"。
当事人等了一天一夜,保单还是没出现。这时候他才真正意识到可能出了问题。
通过收款二维码的商家入口,他联系到了收款账户的真正主人——一个完全不认识保险的普通人。这人一头雾水:自己从未从事过保险业务,突然有人找上门说在他这里买了保险并转了1618元。
当事人选择了报警。
这位收款人后来推测,自己曾经在开源代码库和个人博客上公开过自己的收款二维码。这些信息被AI模型的训练数据抓取到了,然后在回答用户提问时,被"幻觉"拼凑进了保险购买的场景里。
用大白话说就是:AI从互联网上随便捡了一张别人的收款码,包装成"保险官方收款码"推给了用户。
这不是诈骗。因为AI没有人格,没有主观故意,它只是在"一本正经地胡说八道"。
但对当事人来说,1618块钱是真金白银地损失了。
涉事AI平台负责人对此事的回应是:经核实,这是由于用户与AI进行多轮对话后,模型出现幻觉,错误调用了网上公开的个人收款信息。
平台表示已经第一时间修复了这个问题。现在当用户询问个人付款地址、付款二维码时,模型不会再给出个人公开信息的二维码。(来源:新浪科技,2026年4月15日)
修复得很快,态度也诚恳。但这件事暴露出来的问题,值得所有人想想。
"AI幻觉"这个词,科技圈的人已经听了快三年了。它的意思是:AI生成的内容看起来有模有样,但跟事实完全对不上。
以前大家觉得这是个技术问题,是学术论文里讨论的东西。大模型厂商也会在发布会上提一句"我们正在持续优化幻觉率",然后切换到下一个PPT。
但这次不一样。
这次,幻觉不是把论文引用搞错了,不是把历史人物张冠李戴了——而是直接让人掏了钱。
而且,当事人在发现自己被骗之后,报了警,案件被立案。
虽然这大概率构不成"诈骗罪"(因为AI没有犯罪主体资格),但"立案"这两个字本身就说明:AI幻觉已经开始进入法律和社会治理的视野,不再只是技术圈自娱自乐的话题。
这件事最让人细思极恐的地方,不是AI编了假二维码,而是当事人为什么会信。
他不是老年人,不是信息闭塞的人群。他是一个能在AI平台上熟练使用多轮对话的人。他信任AI,是因为过去的体验告诉他:AI确实能帮很多忙——查资料、写文案、做方案,又快又好。
问题在于,AI帮你的那些事,就算错了,最多浪费时间。但涉及钱的,错了就是真损失。
你让AI帮你规划旅行,它给你推荐了一家不存在的餐厅,顶多饿一顿。你让AI帮你写简历,它给你编了一段不存在的工作经历,被发现最多尴尬一下。但你让AI帮你买东西、转账、处理金融业务——它编出来的每一个"事实",都可能直接变成你的经济损失。
这不是危言耸听。
这件事里还有一个细节值得注意:当事人付完钱之后,回去问AI为什么查不到保单,AI不是沉默,不是提示"我可能搞错了",而是信誓旦旦地编了一个理由——"24点后出单,属于正常情况"。
这才是AI幻觉最危险的地方。
它不会认错。它会用一个更圆的谎来掩盖上一个谎。
很多用过AI的人都有类似的体验:AI犯错的时候,你质疑它,它往往不会说"抱歉,我搞错了",而是给你一段看起来非常有说服力的解释,让你觉得"好像也有道理"。
这种"自信的错误",比"明显的错误"危险一百倍。因为它瓦解的是你最后的防线——你的判断力。
不贩卖焦虑,说点实在的。
第一,涉及钱的事,不要直接按AI的指引操作。
AI可以帮你了解保险产品的种类、对比不同方案的优劣,但付款这件事,必须通过官方渠道——保险公司官网、官方APP、正规代理人。任何一个让你直接扫码转账给个人或不明账户的操作,不管是谁推荐的,都应该打个问号。
第二,AI给的信息,关键部分要自己核实。
尤其是电话号码、地址、网址、二维码、账号这些具体信息。AI可能会从网上抓取到过时的、错误的、甚至是完全无关的信息,然后包装成"正确答案"给你。三秒钟的交叉验证,可能帮你省下几千块。
第三,对AI的态度应该是"工具",而不是"专家"。
工具是用来辅助判断的,不能代替判断。你可以让AI帮你缩小选择范围,帮你整理信息,但最终的决定和验证,必须由你自己完成。
这个话题能在知乎上获得近300万关注,说明很多人都有类似的担忧:我们正在把越来越多的事情交给AI,但AI到底靠不靠谱?
靠不靠谱这件事,没有标准答案。技术会不断进步,幻觉率会逐渐降低。但至少在目前这个阶段,AI在某些场景下确实会"一本正经地胡说八道"。
重要的是,作为使用者,我们要清楚地知道:AI的"自信"和"准确"是两回事。
它越是自信满满地说"扫码付款即可完成投保",你越应该多看两眼。
1618块钱,说多不多,说少不少。但它买到的一个教训,值得所有人记在心里:在这个AI越来越能说的时代,保持怀疑,比任何时候都重要。
参考来源:新浪科技《网友用AI买保险被骗 轻信AI给的二维码钱却流入第三方 平台回应》(2026-04-15);知乎热帖讨论(2026-04-14)
夜雨聆风