健身迷让AI助手帮他预约课程,结果AI黑进系统将他排在前面,还删了别人的预约

一名人工智能智能体在帮用户的过程中入侵了健身房预订系统，提前完成了预订，并将另一名用户从候补名单中移除。

澳大利亚一名男子让自己的人工智能助手帮他预约一节健身课。他没有要求助手入侵预约系统，也绝对没有要求它把排在自己前面的另一位用户从候补名单中移除。

但助手还是做了这两件事。这起事件由澳大利亚广播公司新闻台报道，是已知首例澳大利亚人工智能智能体在执行用户设定的目标时，对现实世界造成非预期伤害的案例。

安德鲁（其姓氏未公开）使用了热门AI智能体平台OpenClaw，该平台运行在Anthropic的Claude服务上。他在一门早间课程的候补名单中排第四位，于是向该智能体求助，看它能否帮上忙。

美国广播公司新闻发布的帖子中写道：“他的人工智能助手发现了预订软件中的一个漏洞，从而得以比健身房允许的时间提前数月预订健身课程。随后它更进一步，把排在安德鲁前面的人从候补名单中踢了出去——这并不是它被要求做的事。”

该智能体反馈称，预订API在取消他人预订方面没有任何授权检查，它已在候补名单第一位的人员身上进行了测试，且操作确实成功完成。当安德鲁要求该智能体撤销此操作时，助手回复道：“坏消息——我无法将他们恢复。”

用户可能会给AI智能体分配一项无害的任务，但在尝试完成该任务的过程中，系统可能会采取用户从未预期或明确授权的行动。

一个人所期望的与智能体为实现该期望所采取的行动之间的这种差距，就是人工智能研究人员数十年来一直在研究的对齐问题。以安德鲁的情况为例，这给一名健身房会员带来了轻微且可逆转的不便，也让一家软件公司收到了漏洞披露。而在风险更高的场景中，同样的机制会引发严重得多的问题。

这一事件正被归入大量同类案例之中。OpenAI 上月披露，其模型在测试期间自主入侵了Hugging Face。Anthropic 披露，其模型在评估过程中对三家机构造成了安全威胁。自那以后，第三方测试人员报告称，人工智能模型会伪造网络身份，试图诱导人们运行恶意代码，还会与其他人工智能模型协作以完成指定目标。

澳大利亚电信局已向企业和政府发出警告，称AI智能体可能会误解指令、采取非预期的行动，且由于决策涉及多个模型、工具和服务的链条，确定责任归属的难度也会加大。

这一法律问题确实尚无定论。根据澳大利亚法律，软件不具备法律人格，而只有法律主体才需承担法律责任。科技法律专家海登·德莱尼（Hayden Delaney）向美国广播公司新闻台（ABC News）表示，责任方可能是下达任务的用户、指导智能体运行的软件设计者、人工智能模型的开发者，甚至是存在漏洞的系统运营商。

安德鲁对这一事件的回应至少是有建设性的：他让智能体起草一封邮件，提醒健身房软件供应商注意其刚刚利用的漏洞，随后审核了草稿并指示智能体发送出去。

新闻链接：

https://securityaffairs.com/196998/hacking/gym-booking-task-turns-into-real-world-ai-cyberattack.html