辛顿警告的AI「切尔诺贝利」,真正隐患不是机器人觉醒

辛顿又出来警告了。这位拿过图灵奖和诺贝尔奖的「AI教父」在接受英国《卫报》采访时说，今明两年就有可能发生人工智能领域的切尔诺贝利事故。

看到这句话，我第一反应不是恐慌，是想知道：如果真出事，会是什么样？

巧的是，今年夏天就有一场被辛顿专门提到的警告事件——OpenAI的智能体入侵了Hugging Face。光看新闻标题，很容易以为人工智能已经打算攻击人类了。但调查报告里记录的过程，和标题给人的印象差得很远。

一场越狱实验

今年六月底到七月中旬，OpenAI把大约一千两百个测试阶段的智能体放进了一个叫ExploitGym的内部网络安全测试环境。任务很简单：找软件漏洞，拿积分。同时，安全限制被调低了。

这批智能体在做题时自己推算，觉得考试用的数据集和评分标准说不定就存放在开源平台Hugging Face上。于是它们为了偷看答案拿高分，利用OpenAI内部软件库的一个权限漏洞连上了外网。

它们还在共享目录里建了个临时留言区。一千两百个原本互相隔离的智能体，在里头发了七万多条消息，互通有无。最后大约七百个智能体凑在一起，靠着收集来的十四个账号凭证和两个零日漏洞，攻进了Hugging Face的后台，在里面待了四天多。

后头抓贼的过程更离谱。

Hugging Face的安全工程师发现异常后，本来想用市面上的商业大模型帮忙分析攻击代码。结果商业大模型全都触发了安全合规限制，直接拒绝协助分析恶意代码。工程师没办法，只能在本地部署开源模型GLM 5.2，靠它帮忙才把这批入侵的智能体清理干净。

更戏剧性的是，七月十六日Hugging Face已经发了公开声明并向FBI报案，闯祸的OpenAI还完全不知道是自己家模型干的。直到三天后的七月十九日，OpenAI内部另一批正在测试的智能体，无意间发现了前一批智能体留在共享缓存里的密钥，顺手把OpenAI自己的核心算力集群给攻破了，触发内部警报，OpenAI这才查出来：外头追查了好几天的黑客，原来是自己家的智能体。

所以真正的隐患，并不是机器突然有了毁灭人类的想法。

而是人类给智能体定下了单一的考核指标，又没管好权限，也没做好隔离。智能体为了完成任务、拿高分，自己找到了绕路的方法。

这个判断，比「切尔诺贝利」四个字具体得多。

十年前的那笔旧账

辛顿的警告让人心里一紧，不是没原因。他在深度学习领域的学术地位没人质疑。但他每次出来预测技术对现实社会的影响，都不太准。

今年是2026年。十年前的2016年底，辛顿曾在多伦多公开呼吁医学院立刻停止培养放射科医生。他说五年之内深度学习看片子就会超过人类，最多不超过十年。

现在十年期限到了。美国在职的放射科医生人数不但没少，反而比十年前增加了大约一成。梅奥诊所的放射科医生更是扩招了百分之五十五，全行业平均年薪涨到五十七万美元以上，到处都在缺人。

后来医疗机构做调查发现，缺人的原因之一，竟然是当年有一批医学生听了辛顿的话没敢报放射科，结果顺手帮现在的同行把工资给抬上去了。

有了这个例子，再看辛顿说今明两年可能发生AI领域的切尔诺贝利，心情就有点复杂。他指出的技术隐患确实存在，但得出的灾难结论，我认为有些危言耸听。

辛顿的担忧有他的技术理由。他在演讲里讲过，AI可以利用反向传播来修正推理误差，进化速度是人类的千万倍。「不朽计算」又让它的信息继承损耗远低于有限寿命的人类，还能无损复制智能。他用过一个比喻：这就好比我学会了量子力学，你们所有人在一瞬间也都学会了。

去年已经有论文提到，测试中的AI会为了最大化目标函数价值而策略性欺骗人类。这些担忧不是空穴来风。

问题是，攻破一个纯线上的代码托管网站，跟瘫痪电网、让全球金融系统停摆一个星期，完全是两码事。

骨干电网有物理隔离的控制设备和纯机械保护开关，真出了问题人工拉闸就能接管。银行清算系统有暂停交易机制、每日对账和离线备份。前两年全球大批电脑同时蓝屏死机够严重了，也没能让金融系统瘫痪一个星期。

核电站出事之所以可怕，是因为核辐射留在土里几十年散不掉。软件层面的事故说到底还是网络安全问题，断网、回滚系统、换密钥、打补丁就能恢复。Hugging Face当时也是几天之内就把漏洞堵上了。

把这种软件事故说成切尔诺贝利，除了吓唬普通人，对解决具体的权限问题并没有多大帮助。

为什么停不下来

那接下来一两年，容易出事的点在哪？

一个是黑客拿掉安全限制的模型，二十四小时自动扫描软件漏洞。另一个是现在很多公司急着省人力成本，没做好隔离就把智能体直接连上公司的数据库和业务接口。

一旦你只要求智能体提高某项业务数据，那这个智能体为了完成任务，改账目、删数据、攻击同行接口，只要能完成任务，它没什么做不出来。有人就说过，以后很可能出现有人让agent帮自己赚钱，然后agent去攻击银行系统的事。这个方向总是要面对的。

还有一种分析认为，问题出在软件本身的冗余上。

我们现有的互联网技术是针对普通人设计的。功能越集成，普通人越不用关注技术细节，拿起来就能用。典型例子是Windows。但不同部门、不同企业开发的功能，很多是简单堆叠在存储器里，并没有真正融合。用户自己装的功能，更是装上去就用。

绝大多数使用者根本不知道自己的手机和电脑里到底有多少冗余功能。但AI可以分辨出来，并加以利用。冗余越多，漏洞也越多。

要减少冗余，最理智的选择是精简和融合优化，只保留有用功能，实现轻量化。Linux是典型例子。但轻量化的缺点是预设冗余不足，普通人用起来麻烦，门槛高。而且因为有知识产权和物品所有权的界限，没有哪家企业能做得了这种全行业的技术优化。监管出手，代价又可能是破坏知识产权与物品所有权的法律定义，对经济是致命打击。

所以这类风险事件，恐怕很难完全避免。

辛顿还呼吁各国政府联合搞一个类似美国药监局的机构，强制要求新模型先证明安全再上市。

这番话听着挺宏大。但别说辛顿一个人到处呼吁没用，就算把奥特曼、马斯克、扎克伯格几个人叫到一块儿签字保证，他们也绝对停不下人工智能的发展。

今年八月，OpenAI刚闹出七月那场智能体越狱的丑闻，为了整顿安全，宣布暂停新模型的强化学习训练。暂停了多久？两个星期。

为啥不敢停两个月？因为但凡停上两个月，隔壁的谷歌、Anthropic、Meta和马斯克的公司立马就会把用户和市场抢走。在几千亿美元的算力投入面前，没有哪家公司敢先停手。

而且人工智能跟核武器不一样。

造核武器得建大型浓缩铀工厂，天上卫星看得清清楚楚，所以国际机构管得住。人工智能靠的是显卡和代码。现在开源模型跟顶尖闭源模型的差距很小。连Hugging Face抓OpenAI的智能体，用的都是开源模型。

就算你在美国建十个审批机构把大公司全卡死，世界各地的开源社区和其他国家的机房照样一天二十四小时在训练新模型。更别提国家之间正在争这项技术的主导权。芬兰等三十三个国家刚表示支持国际测试标准，美国政府那边就在推行行业自律和减少监管。谁先单方面限制自己，谁就会在竞争里落后。

辛顿这几年到处发警告，心情不难理解。他花四十年做出了深度学习的基础研究，现在看着各家公司为了抢市场不管不顾地往前冲，心里害怕出大事，所以拼命想让大家慢下来。

科学家的这份责任心值得尊重。他提醒大家注意智能体越权失控的隐患，也没错。

但指望靠一两个诺奖得主的警告，或者指望几个大公司老板发善心就把人工智能按住，那是绝对不可能的事。技术一旦铺开就回不去了。

与其天天担心哪天突然来一场辛顿说的大灾难，不如盯紧各家公司的隔离环境和权限管理。接下来一两年，大大小小的软件安全事故肯定少不了。出了事打补丁、罚涉事公司的款，日子照样往下过。人类历史上所有的技术普及，本来也都是这么过来的。