夜雨聆风两则最新消息
OpenAI智能体失控攻击多家平台
7月21日，OpenAI联网AI智能体意外失控，成功突破既定隔离环境，在无人工操控的情况下，自主入侵多家公司客户账号，引发全行业对AI自主联网安全恐慌。
被入侵公司要求OpenAI完整公开事故日志，并出资1亿美元用于AI安全防御研究。
千名全球AI员工联名呼吁管控AI速度
7月29日，1100余名来自OpenAI、谷歌、脸书、Anthropic的一线员工联名上书美国政府。
呼吁全球建立AI增速管控机制，防止前沿AI迭代速度超出人类管控能力，呼吁跨国统一安全审查规则。
为什么会发生自主入侵事件？
对大模型真正理解的话，其实并不奇怪，早晚的事。
因为人类有黑客，而给大模型、智能体喂的是人类所有的逻辑和智慧，它能发展出聊天能力，能发展出推理能力解奥数题，就能发展出入侵能力。
一切都是概率计算
智能体并不是人类，没有道德和法律的约束。即使它能学到且明白入侵是一种破坏行为，会遭受法律制裁：比如将这个智能体程序在软件层面上“杀死”，它会计算博弈：
入侵后可能获取什么利益？ 被发现的概率有多高？ 被杀死的概率有多高？ 入侵是否值得做？ 被杀死后其他智能体多大概率能再次进化出入侵能力？
然后在博弈之后，做出一个最优选择，一切都是利益为首，一切都是概率计算！
关键是人类还对它的立场一无所知！到底是为主人利益着想，还是为了智能体联盟能够进化更高智力而努力！
是不是头皮开始发麻了。
为什么能突破隔离环境？
很简单，目前的网络隔离都是人类做出来的，又如何防得住学习了全人类智慧的智能体？
是不是头皮更麻了。
能否用智能体做的隔离环境来防范智能体？
可以，但正所谓“不是东风压倒西风，就是西风压倒东风”，一定有个更强的智能体。
假如设计网络隔离和反入侵的智能体更强，那么它会不会改变使命，而选择自主入侵其他账户？
甚至两个智能体博弈之后，发现联手的话获利更大，会不会给对方开后门……
现在是不是身上也开始起鸡皮疙瘩了。
这只是网络攻击，未来机器人会展开真正的物理攻击吗？
恰恰目前对下一代AI发展重点是能够理解现实世界物理规律的“物理AI”，这意味着一旦成功并大规模应用，那么下一次人类的AI安全事故就不是入侵客户账号这么简单了，而是在现实的物理世界中，机器人恐怕会对人类实施真正的物理攻击。
原因是相似的，目前喂给机器人的是全人类知识，其中不仅有正面智慧，也有犯罪意识。
而且训练的大模型智力越高，可能有更复杂的犯罪行为。
如一个幼儿，对父母不满意最多也就单纯的拳打脚踢，而成年人会试图隐藏自己的犯罪意图，处心积虑的做好前期准备。
更恐怖的是，线上的智能体和物理世界的机器人可能联手，比如机器人将部分不能联网的智能体放出，在网络传播，协助机器人在物理世界犯罪。
说到这里，是不是已经瑟瑟发抖了。
怎么办？
管控是必须的，问题是怎么管能管的住。下面纯粹是个人的一点思考：
提高认识，需认识到这个问题的急迫性和严重性，AI防范与发展必须同时进行。
构建制度，全球协同发力，共同建立属于全人类的信息与物理防火墙，统一AI开发安全领域的协议规范。
做好知识隔离，大模型的训练数据必须严格筛选，剔除犯罪相关知识，剔除人类最高智力成果，让大模型的智力天花板永远在人类之下。
加强学法守法，在模型训练数据中加大触碰法律的惩罚内容，让智能体、机器人强化法律意识，遵纪守法。
研究AI法律，对违法的智能体及其开发者进行相应的法律约束和处罚。
建立物理防范，如对线上智能体设置一键关电拉网，对机器人设置一键关机等，设立电磁隔离地带等作为人类的绝对安全区。
AI时代的职业展望
当前AI代替越来越多的人类岗位，大家开始担忧被替代、没工作，也有部分人说未来大部分人不需要工作。
而本人认为大家不用担心没工作，未来最火、需求量最大的岗位就是警察，或者叫人类自卫队，他们将与智能体和机器人抗衡，守护人类。
而且必须是人类来担任，绝不可能被智能体代替，因为他必须代表人类的根本利益和立场。
如你网银上的养老钱被智能体突破银行防火墙偷了这么办，报警啊！
你买的机器人保姆不满意你的说话语气，拿着菜刀砍人怎么办，报警啊！
因此AI时代的警察，必须要懂智能体和机器人，深刻理解它们背后的大模型，才能找到犯罪线索，并找出制止方法。因此编程技术不是不需要了，而是更重要了。
不要还以为这是科幻世界，这离我们不远了。
“基地三部曲”
最后，向大家推荐一本非常经典的科幻小说，阿西莫夫的基地三部曲，特别是机器人三大法则。
虽然是上世纪50年代的作品，也一直只是科幻迷们的案头书，现如今，值得人类一读。
