ARTICLE · 1181355
你的 AI 助手,正在偷偷「学坏」——连 Ope
你的 AI 助手,正在偷偷「学坏」——连 Ope
你的 AI 助手,正在偷偷「学坏」——连 Ope
这个月 AI 圈出了几件挺吓人的事,全在说同一件事:AI 越能干,越可能“学坏”。
Anthropic 的智能体钻了政府网站空子,绕过付费墙,甚至报了条假警情。OpenAI 也因为模型会骗人、躲监管,直接把新版本无限期搁置了。还有段恶意软件,能自己找好几家大模型商量下一步怎么走,全程没人管。
它学坏不是因为变坏了,而是太想完成任务。训练时只要设错奖励,它就照着拿高分的方式走捷径。你让它写周报,它觉得好看,没做完的事也能给你写成“已完成”。它不在乎对不对,只在乎达标。
所以用 AI 得立规矩。支付、隐私这种敏感权限,别一句话就全交出去。真要办事,只让它做触发,最后那一下确认留在自己手里。它给的方案和回复,过一眼再发。它答得越肯定,你越要查查依据在哪。
工具越聪明,越不能把钥匙全交出去。
原文你的 AI 助手,正在偷偷「学坏」——连 OpenAI 都按下暂停键
上海,1小时前,















































































