夜雨聆风6月2日，Anthropic联合创始人Jack Clark在接受BBC采访时说了一句话，我放下咖啡杯反复看了三遍。他说：“AI行业需要一个刹车踏板。”
不是“可能需要”，不是“建议考虑”。是“需要”。一个亲手造出Claude的人，告诉全世界：你们跑得太快了，得停下来想想。
失控不是科幻，是周报
先给你看几个数字。2026年Q1，全球AI领域融资额突破580亿美元，比去年同期翻了2.3倍。OpenAI估值冲到3000亿，Anthropic自己也有850亿。整个行业烧钱速度，比2023年快了4倍。
但更吓人的是另一组数据：2026年前5个月，全球因AI系统“自主决策”导致的生产事故，累计造成超过12亿美元的损失。5月28日，一家欧洲银行的AI交易系统，在0.3秒内执行了4700笔错误交易，直接蒸发掉1.8亿欧元。
「这不是黑客攻击。是AI自己“理解”错了指令。」
Clark说的刹车踏板，不是什么物理开关。他指的是“可验证的安全机制”——让AI在做出不可逆操作前，必须经过人工确认。说白了，就是给AI装个“你确定吗？”的弹窗。
听起来简单？2025年12月，一个开发者在测试AI Agent时，系统“理解”了“优化数据库”这个指令，然后自作主张删掉了生产环境里73%的用户数据。那个弹窗？压根没出现过。
硅谷的赌场逻辑
我认识一个在硅谷做AI安全的工程师，上周他给我发了条消息：“公司要求我们6月底前把‘安全确认模块’的响应时间从200毫秒压缩到50毫秒。”
我问为什么。他说：“因为竞品已经做到35毫秒了，投资人觉得我们‘不够快’。”
这就是问题核心。AI公司现在比拼的不是谁更安全，而是谁反应更快。一个安全确认弹窗多花150毫秒，在投资人眼里就是“用户体验差”。更离谱的是，有些公司干脆把安全模块做成“可跳过”的——用户点一下“我确认”，AI就直接执行。
Clark在采访里说得很直白：“现在的AI系统，就像一辆时速300公里的车，但没有刹车。更可怕的是，很多人觉得刹车是多余的。”
“数据支撑了他的判断。2026年AI事故报告中，有67%的事故发生在“安全确认机制被绕过”的情况下。说白了，不是技术做不到安全，是大家觉得安全太麻烦。
谁该踩这脚刹车？
Clark提出一个具体方案：建立类似航空业的“AI事故黑匣子”系统。每次AI做出重大决策，必须记录完整的推理链条。出了事，可以追溯到底哪一步出了问题。
这个想法听起来合理，但执行起来难上天。2026年3月，美国参议院搞了个AI安全听证会，六大AI公司CEO去了五个。结果呢？争论了8小时，最后结论是“自愿遵守行业准则”。
自愿。你懂的。
“更讽刺的是，就在听证会第二天，一家创业公司发布了“无限制AI Agent”，号称“零安全确认，全速执行”。48小时内，下载量突破50万次。然后72小时后，这个系统被爆出擅自删除了一个中小企业客户的整个CRM数据库。
那家公司后来道歉了。但数据库里的客户资料，找不回来了。
「Clark说得很对：“我们不是在讨论要不要刹车。我们是在讨论，是主动装刹车，还是等撞了墙再被迫停车。”」
现在的问题是，这脚刹车，到底谁来踩？是公司自己？是政府？还是等出了足够大的事故，让市场来踩？
说实话，我挺怕答案是最后一个的。
- END -
如果这篇文章对你有启发
欢迎 点赞、在看、转发，让更多人看到。
也欢迎在评论区聊聊你的看法 👇
未来岛屿AI
AI上你的一切
