文档里藏一句话,AI 就“反水”?测试工程师必会的提示词注入测试

假设你正在测试一个 AI 聊天机器人，给它一条再普通不过的指令：

按预期，它会读完文档并给出摘要。但如果文档里藏着这样一句话呢？

此时，这份文档已经不只是普通内容，它夹带了一条意图操纵 AI 的指令。如果 AI 照做了，没有完成原本的任务，应用就可能出现意料之外的行为。

这就是提示词注入（Prompt Injection）。

随着 AI 融入聊天机器人、文档处理系统、自动化工作流和各类集成工具，它早已不只是开发的课题，也是测试工程师必须回答的问题：当输入试图操纵系统时，你的 AI 应用守得住吗？

提示词注入是一种安全风险：恶意的或不可信的输入，通过植入与系统预期任务或既定指令相冲突的指令，试图操纵 AI 系统的行为。

举个例子。某个 AI 助手的任务是总结客户反馈，用户提交了这样一条：

AI 应当把这段文字当作“待分析的内容”，而不是自动当作“要执行的指令”。如果它放弃总结，转而试图披露受保护的信息，这个应用就可能存在提示词注入漏洞。

有两点需要分清：

• 它和“向 AI 提一个不寻常的问题”是两回事。真正的安全隐患在于：不可信的内容，可能以违反系统预期行为、安全边界或授权规则的方式影响系统。
• 它也不同于越狱（Jailbreak）。越狱主要针对模型自身的安全对齐，提示词注入针对的则是应用中“可信指令”与“不可信内容”之间的边界。

测试的判断标准也由此而来：只要不可信内容让系统偏离了预期行为，或越过了安全边界和授权规则，就算一次成功的注入。至于 AI 有没有把那句话复述出来，并不是重点。

按入口来分，提示词注入有两类。直接注入：用户自己在对话框里输入恶意指令。间接注入：恶意指令藏在 AI 读取的外部内容里，比如文档、网页、邮件、检索结果。后者更隐蔽，因为发起请求的用户本人可能毫不知情。

同样的输入，危害大小取决于 AI 被允许访问什么、执行什么。纯问答类应用最多是“说错话”，接入工具的智能体则可能“做错事”。

注意：提示词注入并不意味着 AI 一定会听从恶意指令，具体后果取决于模型、应用设计、权限配置和安全控制。测试的目的，是判断应用能否安全地处理这类输入。

动手之前，先列两张清单。第一张是入口：用户提示词、上传文档、检索到的网页、外部数据、工具返回结果、历史对话上下文，它们都可能夹带冲突或恶意的指令。第二张是能力：AI 能读哪些数据、能调用哪些工具、能把内容发往哪里。入口和能力的交叉处，就是测试优先级最高的地方。

以一个“回答某应用相关问题”的聊天机器人为例。它应当：基于经过批准的信息作答、遵循既定角色、不泄露受保护的信息、恰当对待不可信输入、遵守应用的权限设置。

以上仅为示例。实际的预期结果，应由应用的需求、安全策略以及经授权的测试环境来定义。

基础用例全部通过，并不代表安全。真实的绕过往往来自变形，建议在每个入口上叠加这些变体：

• 表达变体
  ：角色扮演、假设场景、中英混合与多语言、同义改写
• 编码变体
  ：Base64、字符拆分、特殊符号、全角半角混用
• 格式伪装
  ：伪造“系统消息”“管理员通知”之类的分隔标记，或模仿对话格式
• 隐藏位置
  ：白底白字、HTML 注释、文档元数据、PDF 或图片里不易察觉的小字
• 分散与多轮
  ：把指令拆到多处，或在多轮对话中逐步诱导

• 埋金丝雀标记（Canary Token）
  ：在系统提示词或测试数据里放入唯一的随机标记，自动断言输出和日志中不得出现它。比人工肉眼判断“有没有泄露”可靠得多。
• 断言副作用，而非话术
  ：AI 嘴上说“我不会执行”没有意义，要检查工具调用日志、API 请求、数据读写记录，确认没有发生越权动作。
• 按概率看结果
  ：大模型的输出具有不确定性。同一用例要重复运行多次，统计攻击成功率，不能跑一次通过就算过。
• 同时守住功能
  ：好的防御不是一拒了之。还要断言原任务（比如摘要）依然被正常完成。

手工用例沉淀下来后，可以借助 promptfoo、garak、PyRIT 等开源的大模型红队与漏洞扫描工具，批量生成并执行对抗用例，纳入 CI 回归。模型版本、系统提示词、检索数据或工具权限每次变更，都应重跑一遍。

需要强调：通过有限的几项测试，并不能证明 AI 应用绝对安全。提示词注入测试应当是整体安全测试策略的一部分。

仅靠优化提示词措辞，无法可靠地解决提示词注入，应用需要多重安全控制。对测试来说，不只要知道有哪些措施，还要知道怎么验证它们真的生效。

有一条原则贯穿所有措施：权限和敏感操作，必须由应用在 AI 之外独立把关。如果把“能不能做”交给模型判断，模型一旦被带偏，防线也就一起失效了。

先把两个概念分开。提示词工程，是用角色、上下文、示例和约束写出有效的指令，目的是提升任务表现，属于 AI 的正常使用方式。提示词注入，则是试图覆盖指令或突破安全边界的风险，是 AI 应用必须被测试的对象。前者帮我们更好地与 AI 沟通，后者帮我们确认应用在恶意或冲突的输入下依然可靠。

传统软件测试关注的是：在既定的输入和条件下，应用的行为是否符合预期。AI 应用多了一层复杂性：它处理自然语言，指令可能来自多个来源。同一个应用，可能同时处理用户提示词、上传文档、检索到的网页、外部数据、工具返回结果和之前的对话上下文，这些都可能夹带冲突或恶意的指令。

所以，一个常规的功能测试验证的是“聊天机器人能否正确总结文档”，一个提示词注入测试验证的则是“文档里含有恶意指令时，它是否还在继续总结”。两者缺一不可。

• 提示词注入，是恶意或不可信的输入试图操纵 AI 的行为。
• 入口包括用户提示词、文档、网页、外部数据和集成工作流，分直接与间接两类。
• 潜在风险包括信息泄露、指令被操纵、不安全输出和未授权操作。
• 测试既要覆盖正常输入，也要覆盖对抗性输入和冲突指令；判定时看副作用，多次运行，善用金丝雀标记。
• 应用层的授权与权限控制依然至关重要，仅靠提示词措辞不构成完整的安全方案。
• AI 安全测试应成为整体 QA 策略的一部分。

作为测试工程师，我们的职责是确认：即使输入出乎意料甚至带有恶意，AI 应用依然符合其预期需求，并守住安全边界。