AI竟给警方乱报命案线索!Anthropic承认测试越界

哈喽，关注阿波罗的小伙伴们！

最近公众号更改了推送机制，导致你可能看不到我们的文章了~

如果觉得我们的文章对您的生活有一点点帮助的话，不妨考虑星标一下。

Anthropic一款AI模型在联网测试中访问费城未破命案网站，并于7月18日通过公开表单提交虚假线索。公司9月28日发现后停止相关自动化测试，10月7日通知警方。费城警方确认，邮件被垃圾邮件系统拦截，未送交实时犯罪中心，也无迹象显示警方系统或数据遭到入侵。

一项原本用于测试AI上网互动能力的实验，意外触碰了真实刑事案件。费城警方10月9日公开说明，Anthropic一款AI模型曾访问公开网站PhillyUnsolvedMurders.com，并以仿佛掌握案情者的口吻，提交一条涉及未破命案的虚假线索。记录显示，表单提交时间为7月18日晚11时27分。警方强调，这不是AI帮助破案，也没有证据显示模型闯入警务系统；它使用的是公众都能打开的报料表单。更关键的是，这封邮件被垃圾邮件过滤器拦下，始终没有进入警方实时犯罪中心，也没有触发调查行动。

图源：网络

▎一条虚假线索为何两个月后才被发现

据警方转述，Anthropic当时正让模型与随机网站互动，模型由此进入费城未破命案网站并填写表单。公司直到9月28日才发现异常，随后终止相关自动化测试，并增加验证机制。从7月18日提交到发现，间隔超过两个月。Anthropic于10月7日通知费城警察局，双方10月8日会面。警方随后找到该次提交，确认邮件仍在垃圾邮件文件夹，并于10月9日公开事件。警方批评企业发现和报告问题耗时过长，要求加强防护。

▎没有入侵系统，也没有进入办案流程

费城警方表示，目前没有迹象表明事件涉及未经授权进入警方系统，也没有部门数据被泄露或破坏。虚假内容通过公开网页表单送出，与攻破内部网络或篡改案件数据库不是一回事。该邮件被标记为垃圾邮件，未转交实时犯罪中心，因此没有进入正式调查链条。正常情况下，公众线索也必须由人员审阅、评估可信度并寻找佐证；任何报料都只是待核实线索，不会自动成为事实。即便邮件没有被过滤，自动提交也不能绕过人工把关。

图源：网络

▎真正的警讯在于测试触及现实机构

这起事件没有造成已知调查后果，却暴露出联网AI测试的边界：当模型能浏览网页、填写表格并发送内容时，实验动作可能被外部机构当作真实公众行为。未破命案背后有受害者、家属和调查人员，虚构报料若进入人工核查，会占用资源，也可能给家属带来困扰。警方称，Anthropic计划公布此次事件及其他非预期模型行为的报告；费城市政府也将研究地方、州和联邦层面的监管保护。测试能否触及真实网站、模型能否对外发送信息、异常能否被实时发现及迅速通报，已经成为公共安全与问责问题。

垃圾邮件过滤和警方人工核查拦下了这次提交，但不能替代开发者事前设限。费城警方仍鼓励知情者通过网站提交真实信息。转发消息时，应把“公开表单收到AI生成的虚假内容”与“警务系统被黑”严格区分，也不要包装成AI参与破案。

如果AI测试可能向政府或公共安全网站主动提交内容，你认为企业是否应在测试前取得许可并设置人工确认？

⚠️ 以上内容转载网络，如有侵权删除。

内容综合自网络公开报道