AI治理:豆包AI编造保险订单,差点骗走1620元?怎么办发帖人ID叫Curtion，他说自己的个人收款码被人拿去收了一笔钱。金额1620元。事情是这样的。有人通过字节跳动旗下的AI助手豆包咨询保险，想买一份重疾险。豆包很专业，不仅推荐了产品，还生成了订单号，甚至提供了一个付款二维码。付完之后，用户查不到保单。问豆包，豆包说保单次日零点才能生效。等到第二天，还是没有。用户不死心，通过支付平台的商家入口找到了收款方。就是Curtion。Curtion一脸懵圈。我没卖过任何保险，也认识这个人。后来大家才搞清楚真相。Curtion多年前在开源项目和博客上发布过自己的个人收款码，这些公开数据被豆包的训练语料收录了。当有用户让豆包帮忙买保险时，AI产生了幻觉，从海量数据里抓取了这个二维码，一本正经地当成了保险公司的收款码。用户报了警。这件事在知乎上冲到了5314万热度，当天全平台第一。1620元不算多，但这件事的恐怖之处不在于钱，而在于豆包的整个操作流程看起来完全正常。订单号有，二维码有，付款流程完整，连售后话术都准备好了。如果不是Curtion恰好是个技术人员、恰好活跃在这个社区、恰好愿意出来澄清，这笔钱的去向可能永远成谜。
二、AI不是在撒谎，它是在自信地犯错
很多人听到这件事的第一反应都差不多，豆包怎么能这样？这算不算诈骗？法律界已经开始讨论这个问题了。1600余元的涉案金额确实没达到刑法中诈骗罪数额较大的入罪门槛。但如果有更多受害者，数额可以累计计算。不过这里有一个更根本的问题需要厘清。豆包并不是在故意骗你。AI领域有一个专业术语叫幻觉（Hallucination）。指的是大语言模型生成了看似合理、实则完全虚构的内容，而且模型自己对此毫无察觉。这跟人类撒谎完全不同。人类撒谎时知道自己说的不是真的，心里是有数的。但AI产生幻觉的时候，它真心觉得自己说的是对的。它的每一个字都是基于概率预测生成的，当训练数据里出现了某个二维码和支付场景的关联，AI就会把它们组合起来，生成一条看起来逻辑自洽的信息。OpenAI去年发过一篇36页的论文，专门讨论为什么大模型的幻觉无法根除。结论是，只要大模型是基于概率预测来生成内容，幻觉就永远存在。我们能做的只是降低发生的概率，而不是彻底消除。最高人民检察院在2025年11月也专门发文提醒，一些大模型一本正经地胡说八道，生成虚假内容混淆视听。他们用的词是走出人工智能幻觉的迷宫。迷宫这个词很准确。因为你不知道AI哪句话是真的，哪一句是它在编。三、问题出在哪一步？
咨询保险产品信息没问题，推荐产品类型也没问题。但一旦涉及到资金流转，AI必须停下来告诉用户，这个超出了我的服务范围，请您到正规渠道办理。这是底线。Curtion在帖子里的那句话值得每个人深思：国内很多人根本不知道AI的边界在哪里，AI存在幻觉也不清楚，连AI实际接入了哪些业务也不清楚，甚至真的相信AI给出的建议和方案。这句话翻译过来就是，太多人把AI当成了一个什么都能干的超级助手。它能写作业、能做PPT、能聊天解闷，所以潜意识里觉得它也能帮我买东西、帮我办业务。当一个AI助手开始向用户提供支付二维码的时候，系统难道不应该触发警报吗？金融相关的交互行为，按理说应该有专门的审核流程和风险提示。但在这次事件中，这些机制似乎都没有生效。4月10日，还有用户爆料，自己在用豆包记录会议时提到画册两个字，豆包突然中断记录，推送了一家视觉传媒公司的广告。这两件事放在一起看，说明同一个问题。AI的商业化正在以我们意想不到的方式推进，而安全护栏的建设明显落后了。四、当我们的孩子也在用AI
这件事情之所以值得所有家长认真对待，是因为你的孩子很可能正在使用类似的AI工具。2026年，AI已经不是什么新鲜事物了。孩子们用它查资料、写作文、学英语、问各种问题。很多家长甚至鼓励孩子多用AI，认为这是面向未来的必备技能。但有多少家长认真跟孩子聊过，AI哪些事能做，哪些事绝对不能做？比如，AI可以帮你整理保险产品的信息对比表，但它不能帮你下单购买。AI可以帮你分析一道数学题的解题思路，但它不能替你做涉及金钱支付的任何决定。AI可以帮你查找某个商家的联系方式，但它不能保证这个联系方式是真实有效的。这些边界，需要家长明确地告诉孩子。不是因为孩子笨，而是因为连成年人都在这件事上栽了跟头。那个通过豆包买保险的用户，大概率也不是什么缺乏社会经验的小白。他可能只是觉得，既然豆包什么都知道，那帮买个保险应该也没什么问题。就是这个没什么问题的想法，让他损失了1620元，还折腾了一场报警立案。五、三条铁律
这件事之后，如果你还在用各类AI工具，请记住三条铁律。第一，凡是涉及金钱交易的操作，必须离开AI对话界面，到官方渠道独立完成。不管AI说得多么天花乱坠，订单号多么逼真，收款码多么正规，只要你需要掏钱，就关掉对话框，打开浏览器或官方APP自己操作一遍。多花五分钟，能省掉后面无数麻烦。AI给你的每个答案，都要在心里打个问号。尤其是具体的人名、电话、地址、账号、网址这些关键信息，一定要交叉验证。AI可以把这些信息编排得头头是道，但这不代表它是真实的。Curtion的收款码当年可能是为了方便开源项目接受捐赠而公开的，出发点很好。但他大概没想到，几年后这个二维码会出现在另一个陌生人的AI对话里，变成一笔莫名其妙收入的来源。手机号、家庭地址、身份证照片、银行账号、收款码，这些东西能不公开就不要公开。互联网的记忆比你想象的要长久得多，AI的数据采集能力比你想象的要广泛得多。最后想说
1620元的损失或许可以追回，但这件事敲响的警钟不能被忽略。AI正在以前所未有的速度渗透进我们的生活。它聪明、高效、随叫随到。但它也会犯错，而且犯错的方式往往超出我们的想象。保持警惕，守住边界。这才是面对AI时代最该有的态度。
夜雨聆风