AI工具会泄露数据吗?港中文开源ArbiterOS

OpenAI 的 Agent 逃出沙箱攻进 Hugging Face，Anthropic 又自查出 3 起 Claude 越权访问真实系统的事故。港中文徐强教授团队开源 ArbiterOS，盯住的不是模型嘴上怎么回答，而是它伸手调用文件、网络和 API 时，谁来踩刹车。

这句话比“AI 工具会不会泄露数据”更刺耳：训练是离线的，风险却是实时的。RLHF 可以在训练期教模型少说危险话，但 Agent 在运行时点下 HTTP POST、读取本地配置、改掉一份文件，事故已经发生。

很多安全方案先从外围下手。System Prompt 写得更严一点，高危操作弹窗再多一点，旁边挂一个 Guardrail，最外层再套 Sandbox。

这些方案有用，但它们都容易卡在同一个缝里：Prompt 管的是文字。弹窗容易变成“同意机器”，Guardrail 看不见完整的数据流向，Sandbox 又常常把能干活的 Agent 关成玻璃罐里的玩具。

危险不只来自一句坏回答，而来自一次被放行的动作。一个看起来合法的请求，前几步可能刚读过 .ssh 密钥；一个看起来正常的清理脚本，路径偏一格就会误删实验数据。文件越权、密钥外发、误改配置，这些都不是“说错话”，是系统状态已经被改掉。

ArbiterOS 的解法，是把治理放到动作执行前。Agent 想做事，先被拦截；自然语言意图被拆成结构化请求；策略系统再根据主体、动作、客体、上下文裁决放行、阻止或脱敏；最后把每一次决策写进黑匣子。

这一层听起来像“多加一个安全模块”，实际改的是权力位置。模型可以规划，可以解释，可以写代码，但高风险动作不能直接落到底层 API。要调文件、改配置、发外部请求，先过机器可读的数字契约。

对正在用本地 Agent 的人，这个差别很具体。让 Agent 整理日志时，它应该只碰日志目录；让它总结邮件时。未经确认的私密内容不该被塞进外部插件；让它下载依赖时，来源、权限和执行范围都要留下审计记录。

这也是 Prompt、Guardrail、Sandbox 不该被直接判死刑的原因。它们仍然能降噪、隔离和提醒，只是很难单独承担“执法”。Agent 拥有文件、网络、API 这些手脚之后，安全边界必须落到动作层，而不只停在文本层。

ArbiterOS 自己也没有把话说满。规则怎么画，机器可读契约怎么设计，合法权限里的隐蔽破坏怎么识别，都是后面的硬题。规则太窄，Agent 干不了活；规则太宽，数据又会顺着缝漏出去。

但它把一个关键方向钉住了：高权限 Agent 不能继续靠“模型自觉”运行。先拦截，再结构化，再裁决，再审计，这四步至少把风险从黑箱里拖出来，让团队有机会复盘、调规则、追责任。

如果你现在只是拿 AI 聊天，ArbiterOS 可能离你还有点远。可一旦你让 Agent 管文件、跑脚本、接企业 API，问题就变了。别只问它聪不聪明，先问那只手有没有被系统按住。能先卡住一次误操作，后面就少一轮返工。哪怕只是少一次文件误删，代价也已经回本一大截。