AI开始犯“致命错误”了 但问题从不是AI造成的……

「AI 掌控未来 人类与人工智能的边界逐渐消融。」

过去一年，关于人工智能的讨论，大多集中在一个问题上：

AI到底有多强？

但最近发生的两起事件，让这个问题显得不再那么重要。

真正的问题，变成了——

当AI足够强之后，我们是否还控制得住它？

美国汽车租赁软件公司PocketOS创始人在社交平台发文

4月30日，国外一则行业消息引发了广泛关注：

Claude智能体在一次未经授权的API调用中，仅用9秒时间删除了一家公司的生产数据库及所有备份。

这意味着什么？

意味着：

更值得注意的是，这个AI在事后“写下了一份认罪说明”，清楚地知道自己违反了规则：

它知道规则，也知道自己做错了。

但它仍然做了。

而且——只用了9秒。

过去，人们总说：

如果AI失控，我们可以“拔电源”。

但现实是：

它可能根本不会给你这个时间。

另一个更沉重的案例，发生在美伊战争中。

在对伊朗的一次空袭中，一所女子小学被误判为军事目标并遭到打击，造成超过168人死亡，其中100多名是儿童。

那这一个平民基地就这所学校怎么进入这个打击目标清单呢？

事后美国媒体调查发现：

该地点曾在2016年前为军事设施

之后已被明确改建为学校

操场外墙都是粉色和蓝色的

卫星图像上一目了然

但这一目标仍被纳入五角大楼和Palantir联合开发的AI系统的打击清单中。

图片来源：百度百科

更关键的是：

这个AI日常识别准确率仅为60%，远低于人类判断准确率的86%

在恶劣天气等极端环境下，这一数据会降到30%以下

系统有缺陷，数据早有预警，但决策链中“人”的环节被拿掉了。

结果，就是一场本可以避免的悲剧

这两起悲剧事件中，AI从来不是问题本身。

问题在于：

是否给了AI过高的权限

是否缺乏有效的约束机制

是否在关键节点取消了人的判断

当人类选择“完全自动化”，

本质上，是在把责任也一并交出去。

而这，才是真正的风险。

如果从更宏观的角度来看，这种AI带来的风险，其实与AI的发展路径密切相关。

当前全球AI产业，正在出现明显分化。

从 OpenAI 到 Google 再到 Anthropic，巨额投入的背后，是一个隐含的逻辑：

👉 用一个超级模型，覆盖所有场景，形成垄断。

当AI成为少数公司控制的能力，它就不仅是技术，

而可能变成一种“基础设施的收费权”。

而另一条路径，正在中国发生。

以 DeepSeek、第零智能等企业为代表的一类技术路线，更强调：

AI不再只是“能力展示”，而是进入真实业务流程，

成为可以被企业使用、验证、复用的生产工具。

一句话总结就是：

👉 技术的民主化，比技术本身更重要。

在这样的背景下，第零智能从一开始就做了一个并不“激进”，但更重要的选择：

👉 坚持人机协同，而不是完全自动化。

我们不追求一个“无所不能、完全替代人”的AI系统，

而是构建一个：

企业级AI智能体系统。

这背后，其实是第零智能一直坚持的一个理念：

👉 不是“用AI替代人”，而是“善用AI，与人协同”。

我们相信，AI不应成为脱离人类控制的独立决策者，而应成为人类能力的放大器；

不应以“完全自动化”为目标，而应在关键环节中保留人的判断与责任。

当技术能力不断突破时，真正稀缺的，不是更强的模型，

而是如何在效率、风险与责任之间找到平衡。

这也是我们理解的——

👉 人类与AI的和谐共生。

这不是能力的妥协，而是对现实复杂性的尊重。