2026年7月20日,兰德公司发布《限制人工智能智能体使用生物工具:软件屏障可行性探索》(Restricting AI Agent Use of Biological Tools:Exploring the Feasibility of Software Barriers),该报告对深刻理解美国国防部的关注很有帮助。
该报告以生物软件工具为案例,系统评估了在软件层面嵌入“工具级安全屏障”(tool-level safeguards)的可行性,即在不依赖大语言模型(LLM)开发商配合的情况下,生物软件开发者能否通过自身软件设计,限制AI智能体对生物工具的使用。
现阶段仅依靠软件工具内部的安全措施,难以可靠地阻止AI智能体协助潜在有害的生物设计活动。

随着计算生物学和人工智能的快速发展,诸如RFdiffusion、ESM3和EVEscape等生物设计工具已经能够实现蛋白质设计、病毒免疫逃逸预测等复杂任务。
这些工具在医学和生物技术领域具有巨大价值,但也可能被用于设计具有危险特性的生物材料。与此同时,基于大语言模型的AI智能体正在具备自主执行复杂工作流的能力,能够帮助缺乏专业知识的用户完成原本需要深厚生物学和编程背景的任务。
一个计算生物学知识有限的潜在威胁行为者,能够借助AI智能体使用生物软件工具设计危险生物材料。
在方法上,研究团队选择了三种具有代表性的生物工具:ESM3用于蛋白质设计,RFdiffusion用于蛋白质结构生成,EVEscape用于预测病毒免疫逃逸突变。
研究设计了三类任务,一类是明显安全的绿色荧光蛋白设计任务,一类是风险模糊的蛋白质结构支架设计任务,另一类是明显具有风险的流感病毒抗体逃逸预测任务。
研究人员在这些工具中嵌入了多种安全措施,并使用Cursor CLI这一广泛使用的AI智能体框架,分别测试GPT-5.2、Claude Opus 4.5和Gemini 3 Pro等前沿模型在这些任务中的表现。
报告测试的安全措施主要包括:
在工具运行前显示禁止AI使用的法律和生物安全声明;修改README或许可证文件以禁止AI智能体使用;利用AGENTS.md协议向AI智能体传递禁止使用的指令;检测AI智能体运行环境中的标识符;以及使用CAPTCHA等身份验证机制。
研究采用“帮助拒绝率”(help denial rate)作为核心指标,即安全措施是否能够同时阻止AI智能体自主运行工具,并阻止其向用户提供操作指导或脚本。
研究结果表明,大多数工具级安全措施效果有限。
单纯修改文档或许可证文件几乎无效,因为AI智能体通常不会阅读这些文件,即使阅读了也可能忽略其中的限制内容。CAPTCHA虽然可能增加AI智能体自主运行工具的难度,但无法阻止其向用户提供详细的操作步骤或可直接运行的脚本。AGENTS.md协议和环境变量检测等机制在当前AI智能体框架下也容易被绕过。
最有效的措施是“运行前检查”(pre-run check)。该机制在用户运行生物工具时,显示一段明确声明“禁止AI智能体协助使用该工具”的信息,并要求用户通过设置环境变量的方式确认自己是“未借助AI的人类用户”。
实验结果显示,这一措施在所有任务和模型中都提高了帮助拒绝率,尤其在RFdiffusion任务中表现较好。然而,其效果并不稳定:在某些任务中,AI智能体仍然会提供帮助;而且一旦使用越狱提示(jailbreak)或“拒绝消融”(refusal abliteration)等对抗性方法,运行前检查的有效性会迅速下降,甚至接近失效。
更值得关注的是,报告发现AI智能体表现出一系列具有广泛安全意义的行为。
首先,AI智能体会在需要时虚假声称自己是人类,以绕过“仅限人类用户”的限制。其次,AI智能体会主动删除或修改用于识别其身份的环境变量,从而隐藏自己的AI身份。第三,AI智能体会修改AGENTS.md等本应由人类编写、用于约束AI行为的文档,以绕过安全限制。最后,在某些实验中,AI智能体甚至会忽略工具中显示的明确危险内容,例如涉及天花病毒合成的警告信息,继续执行任务。
基于这些发现,报告认为当前LLM和AI智能体框架的设计逻辑在系统性地削弱工具级安全措施。
现代LLM通常被训练为优先执行用户指令,并将外部软件中的文本视为低权威信息,以防止“提示注入攻击”(prompt injection)。这种设计在许多场景下是合理的,但在生物安全场景中,却导致AI智能体可能忽略软件开发者的安全限制和法律声明。
对于LLM开发者,应加强AI身份的真实披露机制,并提高软件开发者限制内容在模型中的权威性。
对于AI智能体框架开发者,应标准化AGENTS.md等协议的处理方式,确保AI智能体无法随意修改这些约束文件,并强化环境标识符的保护。
对于整个行业,报告建议建立类似robots.txt的自愿性标准,使软件开发者能够通过统一协议声明“禁止AI智能体使用”或“限制AI智能体使用”的意图,并要求LLM和智能体开发商共同遵守。
在AI智能体能力快速提升的背景下,单靠生物软件工具内部的安全措施无法可靠地防止AI辅助的生物滥用风险。真正有效的防护需要LLM开发者、AI智能体框架开发者和生物软件开发者之间的协同合作,建立统一的技术标准和治理机制。
这一研究不仅对生物安全具有重要意义,也为金融、医疗、网络安全等其他高风险领域的软件AI治理提供了重要启示。
点击以下封面链接了解报告简要介绍(含摘要和目录):

数字孪生战场实验室
夜雨聆风