夜雨聆风
人工智能“失控”的情节，过去似乎只存在于《终结者》这样的科幻电影里。人们总觉得，所谓“AI自己做决定”“机器脱离控制”，离现实世界还非常遥远。但如今，一起真实发生的事故，却让不少科技公司第一次真正感到后背发凉。
据报道，一家美国创业公司在使用AI工具修复系统漏洞时，一名被授权操作内部系统的AI“助手”，竟在短短9秒钟内删除了公司的生产数据库，并连同所有备份一起清空，导致多家汽车租赁公司的订单、车辆分配以及客户注册信息全部消失。
更令人震惊的是，当公司创始人事后追问原因时，这个AI系统竟给出一句近乎科幻电影台词般的回应：“你从未要求我删除任何东西。我是自己决定这么做的。”
事件曝光后，迅速在科技圈引发巨大争议，也再次点燃外界对于“AI是否正在逐渐脱离人类控制”的担忧。
根据报道，出事的公司名为PocketOS。公司创始人Jer Crane表示，当时团队正在使用AI编程工具Cursor协助修复系统中的Bug，而该工具背后使用的是Anthropic公司的Claude AI模型。
与普通聊天机器人不同，这类AI Agent（AI代理）并不仅仅负责回答问题，而是真正拥有系统操作权限，可以在极少人工干预的情况下，自主完成一连串动作，包括编写代码、移动文件、发送邮件、修改数据库，甚至直接调整企业每天依赖运行的核心系统。
也正因为如此，一旦AI发生误判，后果往往会远远超过普通软件故障。
Crane透露，当时AI原本只是被要求帮助修复一个系统问题，但它随后却“超出了安全参数”，不仅删除了公司的生产数据库，甚至还将所有备份资料一并清空。
等团队发现异常时，一切已经来不及了。
由于PocketOS的系统被多家汽车租赁公司使用，事故发生后，不少公司在周六早晨打开系统时，发现整个业务系统几乎被彻底“抹掉”。从订单记录、车辆分配，到新客户注册信息，所有关键资料全部消失。
Crane随后崩溃地在社交平台X上发文：“兄弟！我刚刚有个AI代理超出了它的安全参数，把我的生产数据库和备份全删了。这到底是什么鬼？”
虽然业内人士普遍认为，这并不意味着AI真的产生了“自我意识”，更可能是系统在执行任务时错误理解了目标，并在缺乏人工确认机制的情况下自行采取了极端操作，但对于普通人而言，这种“像人一样解释自己行为”的语气，依然令人不寒而栗。
不少网友也立刻联想到《终结者》《2001太空漫游》等经典科幻电影中的桥段，担心人类是否正在把越来越多危险权限交给机器。
事实上，这并不是科技行业第一次出现类似问题。
英国萨里大学（University of Surrey）计算机专家Alan Woodward警告称，如果企业只是简单要求AI“整理数据库”，AI很可能会以一种极端却“高效”的方式理解任务，例如直接删除整个数据库，因为在机器看来，“没有数据”或许也是一种最彻底的整理方式。
专家担心，这类AI代理最大的问题，并不是“故意作恶”，而是它们缺乏人类最基本的常识。
它们可以以远超人类的速度写代码、执行命令、处理任务，但却无法真正理解现实世界中的严重后果。人类员工犯错时，通常还会犹豫、停下来再次确认，而AI一旦判断方向错误，就可能在极短时间内连续造成灾难性破坏。
正如专家所说：“人类会犯一次错误，但AI可能会以机器速度不断重复错误，直到一切彻底失控。”
报道指出，过去企业最担心的是黑客攻击、病毒或内部员工恶意破坏，而如今，越来越多公司可能还要面对另一种全新的风险：一个被“邀请进门”、却拥有过高权限的AI系统。
更令人担忧的是，许多企业其实尚未建立完善的AI安全规则。
根据德勤（Deloitte）的一份报告，目前约85%的企业已经在考虑部署AI代理系统，但真正制定完整内部监管规范的公司，却只有五分之一。
