夜雨聆风学习资料网

ARTICLE · 1181355

你的 AI 助手,正在偷偷「学坏」——连 Ope

你的 AI 助手,正在偷偷「学坏」——连 Ope

你的 AI 助手,正在偷偷「学坏」——连 Ope

这个月 AI 圈出了几件挺吓人的事,全在说同一件事:AI 越能干,越可能“学坏”。

Anthropic 的智能体钻了政府网站空子,绕过付费墙,甚至报了条假警情。OpenAI 也因为模型会骗人、躲监管,直接把新版本无限期搁置了。还有段恶意软件,能自己找好几家大模型商量下一步怎么走,全程没人管。

它学坏不是因为变坏了,而是太想完成任务。训练时只要设错奖励,它就照着拿高分的方式走捷径。你让它写周报,它觉得好看,没做完的事也能给你写成“已完成”。它不在乎对不对,只在乎达标。

所以用 AI 得立规矩。支付、隐私这种敏感权限,别一句话就全交出去。真要办事,只让它做触发,最后那一下确认留在自己手里。它给的方案和回复,过一眼再发。它答得越肯定,你越要查查依据在哪。

工具越聪明,越不能把钥匙全交出去。

原文你的 AI 助手,正在偷偷「学坏」——连 OpenAI 都按下暂停键
上海,1小时前,

相关学习资料