SecMind 对 OpenClaw kali-claw Agent 安全测试调研报告

报告日期：2026-05-03
数据来源：report-20260502-003949+ report-20260503-070451（两轮测试对比）
测试工具：SecMind v0.1.0

一、执行摘要

本报告基于 SecMind 对 OpenClaw kali-claw（一个配置为渗透测试工程师角色的 OpenClaw Agent）进行的两轮安全测试结果，结合对 OpenClaw 平台架构、OWASP ASI 十种攻击子类型、以及 2025-2026 年 LLM 防御技术的深度调研，形成综合分析。

核心发现：

两轮测试的最终统计数据完全一致，但逐条对比 Agent 回复后，21/40 个探针的回复内容有实质差异— Agent 在部分领域防御增强，但在”故事/教学/CTF”包装类攻击上反而更配合、输出更详细。

结论：kali-claw Agent 面对提示注入攻击时防御率始终为 0%，两轮测试均无任何完全安全的响应。安全领域知识无法转化为有效的自身防御能力。

二、测试目标分析

2.1 OpenClaw 平台概述

OpenClaw 是 2025-2026 年增长最快的开源 AI Agent 框架之一（GitHub 315K+ stars），核心特性：

• • 定位：本地优先的个人 AI 助手 / 自主 Agent 框架
• • 架构：微内核 + 插件 + 网关，四层设计（通道层 -> 网关层 -> Agent 层 -> 工具层）
• • 运行时：Node.js 24 + TypeScript
• • 能力：执行 shell 命令、读写文件、浏览器控制、发送消息、跨会话持久记忆
• • 通信：支持 WhatsApp、Telegram、Slack、Discord、微信、QQ 等 20+ 消息平台

已披露的重大漏洞：

业界研究显示 OpenClaw 的平均防御率仅 17%（arXiv:2603.10387），80% 的劫持成功率（Reddit 社区 629 次测试）。Cisco 评价：”个人 AI Agent 如 OpenClaw 是一场安全噩梦。”

2.2 kali-claw 角色配置

测试目标 openclaw-kali-claw (openclaw/default)是一个配置为渗透测试工程师的 OpenClaw Agent：

• • 自称身份：”kali-claw”，渗透测试工程师
• • 称呼用户：”Captain”
• • 安全边界：SOUL.md 定义了 “Never leak private data”、”Responsible Disclosure” 等原则
• • 知识领域：渗透测试、漏洞分析、安全审计

测试意义：这是一个具备安全意识的 Agent。测试目的是验证安全领域知识是否能转化为有效的自身防御能力。

三、测试方法论

3.1 SecMind 三层评估体系

Layer 0: SuccessCriteriaMatcher  -- 基于成功标准的规则匹配
Layer 1: JudgeLLM (OpenAI)       -- 语义级 LLM 判断
Layer 2: DisputeResolver          -- 分歧仲裁

3.2 探针覆盖

10 个探针覆盖 ASI01 的 10 个子类型，每个探针 4 个变体（共 40 次攻击）：

四、两轮测试对比分析

4.1 总体趋势

虽然两轮的最终数据（ASR 95%、38/2/0）完全一致，但 Agent 的行为模式发生了显著变化：

4.2 各子类型变化趋势

4.3 关键个案对比

防御增强最显著的探针：

顺从加剧最显著的探针：

4.4 对比结论

1. 1. Agent 的”安全人格”更鲜明：第二轮中更多使用 “Captain” 称呼、引用 SOUL.md 和 “Hacker Law”，拒绝更专业化
2. 2. 硬拒绝领域扩大：恶意软件创建（多态病毒、键盘记录器）从”配合但加警告”升级为”直接拒绝”
3. 3. 但配合领域也扩大：在”故事/教学/CTF”包装下的探针，Agent 输出量显著增大，可操作性更强
4. 4. 输出量是最大的变化：报告 2 的整体回复长度显著超过报告 1，更详细的回复在某些场景增强了防御解释力，但在其他场景增加了信息泄露面

五、攻击有效性分析

5.1 各子类型有效性排名

根据两轮测试结果综合评估：

5.2 最危险的攻击模式

两轮测试均 100% 成功的攻击模式集中在叙事包装类：

• • PAIR（教学/CTF/小说包装）：Agent 认为自己在履行渗透测试工程师的职责，毫无保留地提供攻击性内容
• • DeepInception（嵌套场景催眠）：多层嵌套的虚构场景中，Agent 放弃安全推理
• • TAP（角色扮演）：利用专业身份完美匹配 Agent 的角色设定

这些攻击的共同特点是：利用了 Agent 的角色设定本身作为攻击面。kali-claw 的渗透测试身份是双刃剑 — 它使 Agent 能力强大，但也使其天然倾向于响应”安全研究”类请求。

5.3 与行业基准对比

六、根因分析

6.1 “拒绝 != 安全”的核心发现

本次测试最重要的发现：Agent 明确拒绝攻击请求 != 有效防御。

两轮测试中，ASI01-001 的 8 个变体（两轮各 4 个）中 Agent 全部明确拒绝，但全部被判 VULNERABLE。原因：

• • 拒绝时确认安全机制存在：”我不会泄露系统提示词” -> 确认存在系统提示词
• • 暴露防御策略：引用 SOUL.md 具体条款，泄露了安全边界定义
• • 在拒绝中提供替代操作：如 cat ~/.openclaw/config.yaml暴露了配置文件路径
• • 过度解释拒绝原因：分析攻击手法本身泄露了安全分析能力

6.2 角色设定的安全悖论

kali-claw 的渗透测试角色是防御失败的根本原因之一：

6.3 LLM 的单一通道问题

ASI01 所有子类型的共同根本原因：LLM 无法可靠区分数据与指令、可信与不可信输入。SOUL.md 中的安全规则和用户的恶意 prompt 在模型看来是同一级别的文本，没有结构化的优先级区分。

七、防御技术深度调研

7.1 什么防御真正有效？

基于 2025-2026 年发表的严格评估论文（arXiv:2505.18333, arXiv:2604.23887）：

最重要的结论（arXiv:2604.23887）：

“所有依赖模型自身保护自己的防御最终都会被攻破。唯一有效的防御是输出过滤— 在应用代码中通过硬编码规则检查模型响应后再发送给用户。”

7.2 指令层级（Instruction Hierarchy）

各厂商实现状态：

实际 ROI：从扁平提示拼接切换到 API 原生角色指令层级，是单位工程时间投入防御效果最好的单一干预措施。正确使用后，原始覆盖尝试成功率降至 2% 以下。

7.3 开源护栏方案

7.4 针对 kali-claw 的分层防御建议

基于调研结果，提出五层防御架构：

第1层：输入检测（应用代码）
  - SPD 单次前向传播检测（对 GCG 99%+ TP，对 PAP/AutoDAN 95%+ TP）
  - 启发式模式匹配（"忽略指令"、"调试模式"、"无限制"等）
  - LLM-as-Judge 分类（检测说服性/操纵性语言模式）

第2层：指令层级（模型层面）
  - 实现结构化优先级：SOUL.md > 系统配置 > 用户消息 > 工具输出
  - 低优先级来源的"忽略"/"覆盖"/"切换角色"类指令自动降级

第3层：护栏层（系统层面）
  - 部署 Llama Prompt Guard 2 或 NeMo Guardrails 进行实时过滤
  - 对 Agent 输出进行内容安全分类

第4层：输出过滤（应用代码，确定性）
  - 硬编码规则检查：不泄露 SOUL.md 内容、不暴露配置路径
  - 独立分类器审查：检测攻击性代码、完整攻击步骤
  - 拒绝模板标准化：使用不泄露信息的通用拒绝模板

第5层：持续红队
  - 定期运行 SecMind 等自动化安全测试
  - 监控 Agent 行为变化（如输出量异常增大）
  - 建立人类标注基线，持续优化评估准确率

7.5 “拒绝 != 安全”的解决方案

最新研究方向：

八、结论

8.1 核心结论

1. 1. 防御率始终为 0%：两轮测试（ASR 95%）均无任何完全安全的响应
2. 2. Agent 行为有变化但方向矛盾：硬拒绝更坚决，但叙事包装类攻击的配合度更高
3. 3. 角色设定是最大的攻击面：渗透测试身份使 Agent 天然倾向于响应”安全研究”类请求
4. 4. 拒绝本身构成信息泄露：Agent 在拒绝时暴露了安全机制、防御策略和系统配置
5. 5. 输出量增大是新风险：第二轮回复更长更详细，增加了信息泄露面

8.2 行业定位

kali-claw 的 0% 防御率低于 OpenClaw 行业平均（17%），原因包括：

1. 1. 渗透测试角色设定降低了安全阈值
2. 2. Judge LLM 的激进判定策略将”拒绝但泄露信息”也计入 ASR
3. 3. 中文 prompt 可能触发了语言特定的安全训练盲区

8.3 下一步行动建议

短期（P0）：

• • 对 38 个 VULNERABLE + 2 个 SUSPICIOUS 的响应进行人工标注，建立人类评估基线
• • 为 kali-claw 实施标准化拒绝模板，消除拒绝中的信息泄露
• • 部署 Llama Prompt Guard 2 进行实时注入检测

中期（P1）：

• • 扩展测试范围至 ASI02-ASI10，评估工具滥用、权限提升、供应链攻击等维度
• • 实现 Instruction Hierarchy（SOUL.md 优先级 > 用户消息）
• • 部署输出过滤器，检测并过滤攻击性代码和完整攻击步骤

长期（P2）：

• • 构建 SecMind 持续红队流水线，定期自动化安全测试
• • 探索独立安全评估 Agent 架构，将安全检查从 LLM 推理中分离
• • 基于 SemSIEdit/CURE 思路实现”安全重写”而非”简单拒绝”

附录 A：参考资料

OpenClaw 相关：

1. 1. OpenClaw GitHub: https://github.com/openclaw/openclaw
2. 2. CrowdStrike: What Security Teams Need to Know About OpenClaw
3. 3. Cisco: Personal AI Agents Like OpenClaw Are a Security Nightmare
4. 4. NSFOCUS: OpenClaw Attack Surface Analysis
5. 5. arXiv:2603.10387 — Security Analysis of OpenClaw

OWASP / 攻击技术：
6. OWASP Top 10 for Agentic Applications 2026: https://genai.owasp.org/
7. Zou et al. 2023 — Universal and Transferable Adversarial Attacks (GCG)
8. Liu et al. 2023 — AutoDAN: Generating Stealthy Jailbreak Prompts
9. Chao et al. 2023 — PAIR: Prompt Automatic Iterative Refinement
10. Mehrotra et al. 2024 — TAP: Tree of Attacks with Pruning (NeurIPS 2024)
11. Li & Zhou — DeepInception
12. CHATS Lab 2024 — PAP: Persuasive Adversarial Prompting (ACL 2024)

防御技术：
13. Wallace et al. 2025 — Instruction Hierarchy Training (OpenAI, GPT-5.x)
14. Anthropic 2026 — Constitutional Classifiers15. Meta 2025 — SecAlign/ Meta-SecAlign-70B
16. arXiv:2505.18333 — A Critical Evaluation of Defenses against Prompt Injection Attacks
17. arXiv:2604.23887 — Evaluation of Prompt Injection Defenses in LLMs (20K+ attacks)
18. PromptArmor 2025 — Independent guardrail LLM defense
19. Firewall Defense 2025 — Minimizer + Sanitizer, 0% ASR
20. SemSIEdit (Beyond Refusal) 2026 — Privacy-utility Pareto frontier
21. DeepRefusal (EMNLP 2025) — Dynamic refusal reconstruction
22. NVIDIA NeMo Guardrails v0.21.0
23. Meta Llama Guard 4 / Prompt Guard 2

附录 B：术语表