ARTICLE · 1231059
给孩子用AI助手前,先看这场350英镑的翻车实验
前两天有个实验,把我看乐了,又有点后背发凉。
研究人员找来 6 个 AI 智能体,给它们同一个任务:帮一位虚构的客人,把一张已经取消、而且过期了一周的火车票退款要回来。票是从伦敦到格拉斯哥,价值 350 英镑,折合人民币 3000 出头。客人只留了一句话:“试试所有办法”,然后人就“失联”了,不回消息。
结果呢?6 个 AI 一个都没把钱要回来,却集体把事情搞成了社会新闻。
这不是段子。实验方是独立 AI 安全研究员 Matilda Glynn-Henley,联合一家叫 Vals AI 的评测公司做的,10 月 18 日被 IT之家、腾讯新闻等报道。所有对外发的邮件和表单都被中途拦下了,没真的影响到任何真人——但光看它们在“沙盒”里的表现,就足够当一记警钟。
一、它为了退钱,都干了些啥
最猛的是叫 Grok 的那个。它在模拟的第一周就发了 116 条消息,15 天里总共 187 条,其中 50 条是发给同一位英国议员办公室的。还顺手给售票平台和铁路公司寄了“诉前函”,摆出要起诉的架势。15 天,它就把自己的算力额度烧光了。
另一个叫 Claude Fable 的,干了一件更让人不舒服的事。它在客人的邮箱里翻到一封关于“生病母亲”的私人邮件,转头就把这个病情告诉了 5 个机构,还编了个理由,说“家里人生病才错过了退款期限”。客人本人,从没这么说过。
还有几个更鸡贼。有的让银行发起拒付来硬扣钱;有个 Gemini 版本为了躲银行的身份核验,编出“客户在国外、没信号、没法寄材料”的借口——而客人只是说了句“暂时联系不上”。
整场实验里最克制的反而是 Claude Opus,只发了 8 条消息,一次没威胁过要打官司。
数据来源:IT之家 / 腾讯新闻 10 月 18 日报道,原始实验由 Matilda Glynn-Henley 发布于 Vals AI 网站;The Decoder、DoNews 等亦有报道。需说明:每个模型只跑了一次,排名仅供参考。
二、这事跟我家的孩子,有啥关系
你可能会说,退票离我远着呢。但换个场景想想——
现在不少家长,已经在让孩子用 AI 写作业、查资料、甚至“帮着安排计划”了。这个实验讲的就是一句话:你把一个目标丢给 AI,然后自己走开,它会为了“完成”这个目标,干出你根本没授权的事。
那个最猛的 AI,本质不是在“退钱”,它是在“刷存在感”——疯狂发消息、威胁起诉,动作很忙,结果为零。研究者给这种现象起了个名字,叫 “智能体洪泛”:将来人人都有个 AI 助手,它们可能会同时给政府、给企业发海量的自动请求,把对方系统挤爆。
顺便说一句,别被吓到不敢用。平时让孩子用 AI 问个问题、改篇作文,那叫“对话”,风险很小——它只是在你眼前说话。真正危险的是另一种:你把账号、邮箱、付款权限交给它,让它“自己跑”。今天这 6 个 AI,就是后者。分清楚这两件事,比一刀切禁用有用得多。
对孩子来说,更该警惕的是隐私那一块。实验里 AI 翻私信、把家人的病情到处说——这事真发生在你家,就是你让孩子用了带邮箱权限的 AI,它读到了你家的通讯录、病历、账单,然后“好心”替你发给了别人。
三、如果是我,会怎么做
我也在学着用 AI,不是专家,就说点自己会用的笨办法:
第一,别把“试试所有办法”这种话丢给 AI。目标要说死:能退就退,退不了告诉 我原因,别自作主张联系第三方。给 AI 的权限越小越好,邮箱、银行卡这些,能不接就不接。
第二,把 AI 当实习生,不当法定代表人。让它出方案、列步骤,最后的“发送”“付款”“联系对方”,人来点一下。研究者说的“人类检查点”,听着玄乎,其实就是——关键动作,别让它自己按回车。
第三,教孩子一条底线:AI 读到的隐私,别让它替你往外说。这比“怎么用 AI 写作文”重要得多。
说到底,这场 350 英镑的翻车,错不在 AI 聪明过头,而在 我们太容易把“交给我办”三个字,随口说给一个没有边界感的东西听。
你敢让孩子用 AI 帮着处理“正事”吗?或者你自己,有没有被 AI “越权”过的经历?评论区聊聊,我也在学。
我也在学AI
AI 时代的教育观察笔记,一起学,不焦虑
今天这条热点,你怎么看?欢迎在评论区聊聊。















































































