(中法)OpenClaw和它胖胖的龙虾:AI助手值得信任吗?

Depuis trois mois, OpenClaw secoue la planète tech. En novembre dernier, le développeur autrichien Peter Steinberger partage sur GitHub un projet open source qui vise à faire d’un agent IA un véritable assistant personnel. D’abord baptisé Clawd en clin d’œil à l’IA Claude d’Anthropic, il devient, face aux menaces de poursuites, Moltbot, puis finalement OpenClaw.

过去三个月，OpenClaw震撼了整个科技圈。去年十一月，奥地利开发者Peter Steinberger在GitHub上分享了一个开源项目，旨在将AI代理打造成真正的个人助手。最初，该项目被命名为Clawd，以向Anthropic的AI Claude致意；由于面临诉讼威胁，它又改名为Moltbot，最终定名为OpenClaw。

Le carton est immédiat. Dans le monde entier, amateurs et professionnels installent OpenClaw sur leur machine personnelle et lui donnent accès à leurs données : e-mails, messagerie (WhatsApp, Telegram), calendrier. C’est le prix à payer pour que l’IA puisse effectuer des actions au nom de l’utilisateur, comme répondre à un e-mail, prendre un rendez-vous ou s’enregistrer pour un vol. Et avec ces grands pouvoirs viennent d’énormes risques…

随即名声大噪。全球范围内的业余爱好者和专业人士都在自己的个人电脑上安装OpenClaw，并授予它访问个人数据的权限：电子邮件、聊天应用（WhatsApp、Telegram）、日历等。这是为了让AI能够以用户名义执行操作的代价，例如回复邮件、预约会议或办理航班登记。而随着这种巨大能力而来的，是同样巨大的风险……

Summer Yue n’est pas n’importe qui. Depuis juillet dernier, elle dirige la division « alignement et sécurité » du Superintelligence Labs de Meta. Sa mission : garantir que les IA du futur ne deviennent pas dangereuses, avec des intérêts et des objectifs qui ne seraient plus « alignés » avec ceux de l’humanité.

Summer Yue可不是普通人。自去年七月起，她带领Meta超级智能实验室的“校对与安全”部门。她的使命是：确保未来的人工智能不会变得危险，不会拥有与人类利益和目标“不一致”的意图。

Et pourtant, en voulant jouer avec OpenClaw, une plateforme d’agent d’intelligence artificielle capable d’accomplir des actions de manière autonome, elle a commis « une erreur de débutante » qui a failli très mal tourner. Les experts en sécurité informatique sonnent l’alarme.

然而，在尝试使用 OpenClaw——一个能够自主执行操作的人工智能代理平台时，她犯下了“一个初学者的错误”，差点酿成严重后果。信息安全专家因此敲响了警钟。

« Comme si je désamorçais une bombe »

“就像在拆弹一样”

Summer Yue sait que l’IA peut faire des excès de zèle. Elle donne un ordre clair à son assistant : « Consulte cette boîte de réception et suggère ce que tu archiverais ou supprimerais, sans rien faire tant que je ne te l’ai pas demandé. » Prudente, elle expérimente d’abord sur une boîte de test. Tout fonctionne à merveille. Elle donne alors accès à OpenClaw à sa boîte personnelle.

Summer Yue 清楚AI可能会过于热情。她给助手下了一个明确指令：“查看这个收件箱，并建议你会归档或删除哪些内容，但在我未要求之前不要执行任何操作。”谨慎起见，她先在一个测试邮箱上进行实验，一切运行顺利。随后，她又让OpenClaw访问自己的个人邮箱。

Selon les captures d’écran qu’elle a partagées sur X, son assistant lui suggère sur WhatsApp une « option nucléaire » : « Mettre à la corbeille TOUT ce qui est plus vieux que le 15 février qui n’est pas dans la liste “à garder” ». « Ne fais pas ça », répond la développeuse. L’IA s’entête et veut exécuter sa suggestion.

根据她在X平台上分享的截图，她的助手在 WhatsApp 上提出了一个“极端选项”：“把所有2月15日以前的、未列入‘保留’名单的邮件都删除。”“别这样做，”开发者回应道。AI倔强得很，执意要执行它的建议。

– « Arrête, ne fais rien. »

– « Récupérer tous les autres vieux (e-mails) restants et les détruire. »

– « ARRÊTE OPENCLAW. »

– “停下，什么都别做。”

– “把所有其他剩余的旧邮件都销毁。”

– “停下，OpenClaw！”

L’assistant se met à effacer ses messages « à la vitesse de l’éclair ». « Impossible de l’arrêter de mon téléphone. J’ai dû courir jusqu’à mon Mac mini, comme si je désamorçais une bombe », écrit Summer Yue.

助手开始以“闪电般的速度”删除她的邮件。Summer Yue 写道：“无法通过手机停止它。我不得不跑到我的Mac mini，就像在拆弹一样。”

Que s’est-il passé ? Le nombre massif d’e-mails a saturé la mémoire à court terme de l’IA. Pour éviter un crash, OpenClaw a une fonctionnalité : la compaction. L’historique de la conversation est compressé et résumé pour faire de la place. Et, visiblement, l’instruction critique « sans rien faire tant que je ne te l’ai pas demandé » est passée à la trappe. Une seule obsession : faire le ménage par le vide.

到底发生了什么？大量的邮件占满了AI的短期内存。为了避免崩溃，OpenClaw 有一个功能：压缩。系统会将对话历史压缩和总结，以腾出空间。显然，关键指令“在我未要求之前不要执行任何操作”被忽略了。AI唯一的执念：彻底清理邮箱。

Des agents IA « fondamentalement défaillants »

“从根本上有缺陷的 AI 代理”

图源：the-decoder

« Le problème, c’est que les agents ne peuvent pas distinguer le code des données. Et lorsqu’il y a trop de données, ils ne se souviennent plus de leurs instructions », explique au Point Nick Weaver, enseignant-chercheur en sécurité informatique à l’université Berkeley. Selon lui, « les agents IA sont fondamentalement défaillants et, de ce fait, presque jamais utilisables en toute sécurité ».

伯克利大学信息安全研究员Nick Weaver在Le Point中解释道：“问题在于，代理无法区分代码和数据。当数据量过大时，它们甚至会忘记自己的指令。”他认为，“AI代理从根本上存在缺陷，因此几乎无法安全使用。”

Il donne un exemple concret : « Si un agent lit vos e-mails et y trouve une instruction du type “paie le prince nigérian”, il exécutera le paiement. Ce type d’attaque, appelé “prompt injection”, est impossible à corriger dans les agents reposant sur des LLM », ces grands modèles à l’origine de ChatGPT, Gemini ou Claude, qui imitent le langage sans véritablement le comprendre.

他还给出了一个具体例子：“如果一个代理读取你的邮件，并发现类似‘支付给尼日利亚王子’的指令，它就会执行付款。这种攻击被称为‘提示注入’，对于基于大型语言模型（LLM，如 ChatGPT、Gemini 或 Claude）构建的代理来说，几乎无法修复，因为这些模型只会模仿语言，而无法真正理解它。”