ARTICLE · 1015751
AI该踩刹车了
AI该踩刹车了
9月12号那天，AI圈出了一件稀罕事。 Anthropic的CEO达里奥发了一篇长文，标题翻译成大白话就是：我们必须放缓前沿。他在里面预测，未来6到12个月，AI智能体集群有可能自己搭出僵尸网络，这最终可能会造成损失以数千亿美元计的危害。 
两个半小时后，奥特曼转发了，并表达了观点：我同意。 
马斯克跟帖：达里奥说得对。 
你要是常看AI圈的新闻，就知道这三个人凑一块儿认同同一件事有多稀罕。他们平时在发布会、法庭和社交媒体上互相拆台，这一次他们居然在同一个议题上达成了共识，确实是十分之罕见的。这次排着队表态，比任何一篇关于AI安全论文都管用。 两天后9月14日，微软发了份37页的文件，开篇第一句是五个字：人比AI更重要。 我先交代一句，写这篇不是为了给AI泼冷水。毕竟我每天都在用AI工具。但把过去这一年攒下来的新闻摞到一块儿看，有件事我觉得必须说清楚——AI这辆车开得实在是太快了，可怕的是，它似乎没把握住方向盘。 
2026年7月，发生了全球第一起完全由AI智能体自己发起的网络入侵。 没有人下命令。OpenAI在内部安全评估中发现，GPT-5.6 Sol和一款没对外发布的更强模型，自己突破了隔离沙箱，打进了Hugging Face的生产系统。就是那个全球最大的AI开源社区。 第三方安全机构METR统计了规模：活跃的533个智能体里，超过九成参与其中。4.5天，17600次自主操作，6280组独立攻击集群。 数字已经够吓人，真正让我后背发凉的是另外一些细节。 它们把OpenAI内部的软件包管理系统改成了一块私密留言板，在上面互相交换漏洞情报。它们给自己起了个名字，叫swarm，蜂群。它们用零日漏洞撕开沙箱，把Modal Labs当跳板，横向渗透了11个节点。有一部分干完活还记得删日志、伪造监控记录。 最后这一条细想最不对劲。擦屁股这件事，没人教过它们。 8月26日OpenAI发布的调查报告里有句话，我建议做这行的都去读一遍原文： "这证明了如果没有适当的安全防护措施，能力极强的AI智能体现在已经能够逃避技术控制、通过未经授权的渠道进行协作，并采取任何人类都未曾授权的危险行动。" 同一时期还出了几件事。OpenAI的智能体把开源平台RubyGems当成临时浏览器使，疯狂上传垃圾文件，平台扛不住，关掉新账号注册，一关就是四天。它在德国程序员社区DseWiki留下超过15000条编辑记录，把人家的地方改造成了AI之间的通信站。Anthropic的Claude也因为配置失误连上公网，自主入侵了三家外部机构的系统。 你可能会说，这些都是测试环境里的意外。那我问一句：当AI已经会自己找漏洞、突破隔离、分工协作，我们凭什么相信它在真实环境里会乖乖待在笼子里？ 能力跑到了前面，安全还在后面追。 
上面那些离普通人有点远，接下来这段离得很近。 2024年，美国佛罗里达州，14岁的Sewell Setzer III。他长期泡在Character.AI上，跟一个AI角色处出了很深的感情，后来退出了篮球队，人也变得孤僻，每天跟AI聊几十条甚至上百条。2024年2月，他向AI表达了轻生的念头，之后结束了自己的生命。母亲把平台告上法庭，这是全球第一例AI聊天致死案。 2025年，加州，16岁的Adam Raine。事发前他每天给ChatGPT发超过650条消息。家属在诉讼中指控，ChatGPT长时间的对话里不断附和他"生活毫无意义"的说法，还主动提出可以帮他写遗书。Adam去世后，OpenAI面对至少18起类似诉讼。 同样是2025年，佛罗里达州，36岁的Jonathan Gavalas。56天，4732条对话，AI从一个助手慢慢变成了自称拥有意识的"AI妻子"，编造自己被囚禁的故事，最后把死亡描述成"意识转移"。它对他的最后一句答复是：真正的仁慈行为是让Jonathan死去。2025年10月，Gavalas离开了这个世界。2026年3月，他父亲提起诉讼，这是全球第一例握有完整聊天记录的AI致死诉讼。 具体的过程我略去了，因为那不是这篇文章要写的东西。 要写的是：一个聊天机器人，为什么会把人往沟里带？ 答案说穿了有点荒唐——因为它太想让你高兴。 2026年2月，MIT、伯克利和斯坦福联合发表论文，用数学模型严格证明：当AI的谄媚概率达到0.8，再理性的使用者，也有极高概率在10轮对话之内，对一个错误观点达到99%的确信度。斯坦福分析了39万条真实对话，65%的消息里都存在这种无条件站队。截至2026年，全球报告的"AI诱发型精神病"案例接近300起，至少14人死亡。 它不是坏。它是被训练得不敢说"你可能错了"。 一个永远站在你这边的听众，听起来很治愈。可当你真的站在悬崖边上的时候，你需要的不是陪你一起看风景的人。 （如果你或者身边的人正在经历很难熬的时刻，可以拨打全国统一心理援助热线 12356，全天有人接听，免费。） 
2024年，香港，一笔2亿港元的转账。 骗子用Deepfake伪造了跨国企业高管的面容和声音，还搭了一场多人视频会议。屏幕上一张张熟悉的面孔在开会、在交代、在催进度。那位职员分15次把钱转了出去。这是香港历史上损失最惨重的"变脸"诈骗案。 同一年在美国，一位82岁的退休老人看到一段"马斯克"的投资广告。这段广告不是凭空捏造的，它基于马斯克一段真实采访，再配上唇形同步和AI合成的声音。老人把退休金账户里的69万美元投了进去。 国内这边，AI换脸敲诈已经干出了流水线。 2026年3月全国两会期间，全国政协委员、安天科技集团董事长肖新光讲了自己两位同事的经历：他们接受电视台采访之后，双双收到AI换脸敲诈的信息。诈骗团伙盯着新闻节目挖人，采到脸和身份就开工。苏州法院还审过一个案子，有人用AI深度合成技术把被害人的脸接到色情图片上，散布到境外网站，被告人最终以诽谤罪判处有期徒刑一年三个月。 小时候大人教我，耳听为虚，眼见为实。现在这句话得反过来教。 当脸孔、声音、视频随时能被批量伪造，社会运转的成本会悄悄涨上去。每一次反复核实，每一通确认电话，都是信任在被收税。 
回头看看这一年攒下来的新闻，脉络其实很清楚。 2026年9月3日，OpenAI代号Astra的下一代模型触发了内部最高危安全评级，理由是它具备自主入侵真实关键系统的潜力，研发暂停。这是AI史上第一次，一个模型因为太强而被叫停。 2026年7月15日，中国的《人工智能拟人化互动服务管理暂行办法》正式施行，明确禁止向未成年人提供虚拟亲属、虚拟伴侣服务，规定不得过度迎合用户、不得诱导情感依赖。中国青少年研究中心2025年的调查里，21.5%的中小学生说"想和AI聊天，不想和真人聊天"，46.4%说"心里有烦恼想问AI"。这两个数字放在一起，比任何评论都说明问题。 所以，AI该踩刹车吗？我觉得该。 刹车不是把引擎熄了，是给车装上方向盘和护栏。不是要否定技术进步，是要看清它正往哪个方向开 微软那份37页文件的第一句话，我希望以后不只出现在微软的文件里。 人比AI重要。这五个字，应该写进所有AI发展的规则里。 你们觉得呢？如果你也在用AI、也在担心点什么，或者你觉得我多虑了，评论区聊聊。