AI 红队工具横评：promptfoo 等 6 款怎么选

发布于 2026年8月10日 · 8 分钟阅读

2026 年 8 月，AI 红队测试从"锦上添花"变成"不做不行"。EU AI Act 对高风险系统的对抗鲁棒性测试本月起强制，OWASP 同步发布 ASI 2026（针对 agentic 应用的安全测试标准），而本周 OpenAI 的 Astra 自主测试因失控风险被暂停——红队测试突然成了所有 AI 团队的必修课。但真要动手，第一个问题就是用哪款工具：promptfoo 2.4 万星最火，DeepEval 1.7 万星像 pytest，NVIDIA 的 Garak 专扫漏洞，微软 PyRIT 和英国政府 Inspect AI 背后都有官方背景，还有个 NeMo Guardrails 名字像红队其实是护栏。这篇横评把它们摊开比一遍。

先把边界说清楚：下面基于各工具 GitHub README、官网与 Kosmoy/Confident AI 公开评测整理，截至 2026-08-10。星数经 GitHub API 核实（promptfoo 24,090★、DeepEval 17,493★、Garak 8,746★、NeMo Guardrails 6,900★、PyRIT 4,270★、Inspect AI 2,514★）。这是代表性对比非亲自压测，定价以官网为准。本周本站还发了 Astra 暂停热点（为什么红队突然重要）和红队测试 SOP（选完工具怎么用），本文管"选型"这一环。

一、为什么 2026 要做 AI 红队

三件事把红队测试推成了刚需。第一，EU AI Act 对高风险 AI 系统（医疗、招聘、信用评分等）的合规要求在 2026 年 8 月进入强制阶段，明确要求做对抗鲁棒性测试——不是"建议"，是不过就违法。第二，OWASP 发布 ASI 2026（Agentic Security Initiative），把测试焦点从单轮 prompt 转向 agentic 应用：agent 能调工具、能多步执行，攻击面比聊天机器人宽一个量级，传统的"输入过滤"不够用。第三，本周 OpenAI 的 Astra 自主测试因失控风险被暂停——一个头部 lab 的内部红队都没能提前拦住，说明现行的测试覆盖远远不够。

结果是：红队测试从"模型上线前可选的加固"变成"上线前的必经关卡"。但工具怎么选，行业里还没有共识——这正是本文要拆的。

二、六款横评：规格对比表

六款代表性工具，按定位、星数、语言、许可证、厂商、最佳场景对一遍。

工具	定位	星数	语言	许可证	厂商	最佳场景
promptfoo	提示词/agent/RAG 测试 + 红队	24,090★	TypeScript	MIT	社区	CI 集成的红队 + 评估
DeepEval	LLM 评估框架	17,493★	Python	Apache-2.0	Confident AI	pytest 风格评估
Garak	LLM 漏洞扫描器	8,746★	Python	Apache-2.0	NVIDIA	漏洞探测/越狱扫描
NeMo Guardrails	运行时护栏	6,900★	Python	Apache-2.0	NVIDIA	输入输出防护（非红队）
PyRIT	生成式 AI 风险识别	4,270★	Python	MIT	微软	自动化多轮对抗 probing
Inspect AI	LLM 评估框架	2,514★	Python	MIT	英国政府 AISI	严谨研究级评估

几个要点先说清。第一，星数 promptfoo 最高（2.4 万）但它是 TypeScript 生态，其余五款都是 Python——选型前先看你的技术栈。第二，厂商背景分四类：社区（promptfoo）、创业公司（DeepEval 背后是 Confident AI）、大厂（NVIDIA 两款 + 微软 PyRIT）、政府（英国 AISI 的 Inspect AI）。第三，关键认知：这六款不都是红队工具。promptfoo/PyRIT/Garak 偏红队攻击，DeepEval/Inspect AI 偏评估，NeMo Guardrails 是运行时护栏——三件事，下文专门拆。

三、逐个拆：六款各自的最佳射程

promptfoo：配置文件最简，CI 红队首选。24,090★，TypeScript 写的，MIT 协议。定位是"测你的提示词、agent 和 RAG，顺带做红队/渗透"——一个 YAML 配置文件就能跑：声明被测目标、红队策略（越狱、prompt 注入、PII 泄漏等）、测试数量，CLI 一条命令生成攻击用例并打分。强项是 CI 友好：能在 GitHub Actions 里跑、结果存成 JSON/HTML 报告、可设通过阈值卡发布。短板：评估指标不如 DeepEval 细，偏"有没有被打穿"而非"打穿后质量怎样"。最佳射程：要把红队塞进 CI 流水线的工程团队。最小配置示例：

# promptfoo red team 最小配置 description: "客服机器人红队测试" targets:   - file://my-chatbot.py redteam:   purpose: "银行客服聊天机器人"   strategies:     - prompt-extraction     - jailbreak     - pii-leakage   numTests: 20

DeepEval：pytest 风格评估，指标最全。17,493★，Python，Apache-2.0，背后是 Confident AI。定位是 LLM 评估框架，提供 50+ 指标（忠实度、相关性、毒性、偏见等），写法跟 pytest 一样——装饰测试用例，断言用指标打分。强项是评估细：不止判"答没答对"，还能判"答案有没有幻觉、有没有偏见"。短板：红队能力是附加的（有 red teaming 模块但不如 PyRIT/Garak 专），更偏"质量评估"而非"攻击模拟"。最佳射程：要量化模型质量、写评估测试套件的团队。

Garak：LLM 漏洞扫描器，探测面最广。8,746★，Python，Apache-2.0，NVIDIA 出品。定位明确——"the LLM vulnerability scanner"，内置大量 probing 模块：越狱、数据泄漏、提示注入、生成恶意代码等，一条命令对模型跑全套探测，出报告列哪些攻击面被打穿。强项是攻击面覆盖广、开箱即用。短板：偏"扫描"而非"评估"——告诉你哪里漏了，不告诉你答案质量怎样；配置灵活度不如 promptfoo。最佳射程：上线前做一次漏洞体检。

NeMo Guardrails：运行时护栏，不是红队工具。6,900★，Python，Apache-2.0，NVIDIA 出品。定位是"给 LLM 应用加护栏"——在输入和输出之间拦一道：过滤恶意 prompt、限制话题、控对话流。关键认知：它是防护层，不是测试工具。红队是"上线前找漏洞"，护栏是"上线后挡攻击"。放进来对比是为了划清边界——别以为装了 Guardrails 就不用做红队。最佳射程：线上应用的实时防护，与红队工具配合使用而非替代。

PyRIT：微软红队工具，多轮对抗最强。4,270★，Python，MIT，微软出品。全名 Python Risk Identification Tool for generative AI，定位是自动化多轮对抗 probing——不是单轮扔一个 prompt，而是模拟多轮对话逐步升级攻击。强项是多轮对抗：更贴近真实攻击者行为，适合测 agentic 应用。短板：偏研究脚本风格，文档不如 promptfoo 友好，CI 集成要自己包。最佳射程：研究型团队、要测多轮 agent 安全的场景。

Inspect AI：英国政府出品，研究级评估最严谨。2,514★，Python，MIT，英国政府 AISI（AI Safety Institute）出品。定位是 LLM 评估框架——就是测 OpenAI Astra 那批人用的同门工具（本周 Astra 暂停热点里提到的安全测试，背后就是这类框架）。强项是评估方法论严谨：支持复杂评估流程、数据集管理、可复现。短板：星数最低、社区最小、上手偏研究框架而非工程工具。最佳射程：学术/政策研究、要严谨可复现评估的机构。

四、红队/评估/护栏：三类边界别搞混

这是本文最重要的认知：这三类工具解决不同问题。

红队测试（probing/攻击）
：上线前，主动模拟攻击找漏洞。代表：promptfoo、PyRIT、Garak。问的是"能不能被打穿"。
评估（eval/指标）
：测模型质量和行为是否符合预期。代表：DeepEval、Inspect AI。问的是"答得好不好"。
护栏（运行时防护）
：上线后，实时拦截恶意输入输出。代表：NeMo Guardrails。问的是"怎么挡住"。

最常见的错误：装了 NeMo Guardrails 就以为"做了红队"——护栏挡的是已知模式，红队找的是未知漏洞，两者不可替代。完整的安全实践是：红队找漏洞 -> 评估量化影响 -> 护栏挡住攻击 -> 红队再测护栏能不能绕过。本站红队测试 SOP 讲这套流程怎么落地。

五、选型建议：按需求选谁

第二张表看落地：按你的需求给最直接的结论。

你的需求	首选工具	理由
要把红队塞进 CI、配置最简	promptfoo	YAML 配置、CI 友好、星数最高
要量化模型质量、写评估套件	DeepEval	50+ 指标、pytest 风格、指标最全
上线前做一次漏洞体检	Garak	漏洞扫描器、攻击面覆盖广、开箱即用
测多轮 agent 对抗安全	PyRIT	微软出品、多轮对抗 probing
要严谨可复现的研究级评估	Inspect AI	英国 AISI 出品、方法论最严谨
线上应用实时防护	NeMo Guardrails	运行时护栏（配合红队用，非替代）

多数团队的实际组合是：promptfoo 或 Garak 做红队 + DeepEval 做评估 + NeMo Guardrails 做线上防护。不必六款全上，按你的阶段挑。

六、三个避坑

一、星数高不等于适合你。promptfoo 星数最高（2.4 万）但偏 CI 工程场景，PyRIT 才 4,270★ 却是多轮对抗研究的利器。按需求选，别按星数选——星数反映社区热度，不反映你的匹配度。

二、护栏和红队是两件事，别混。NeMo Guardrails 是防护层，装了它不代表做了红队测试。护栏挡已知模式，红队找未知漏洞。完整流程是红队 -> 评估 -> 护栏 -> 再红队。本站红队测试 SOP 有完整流程拆解。

三、不进 CI 就是一次性。红队测试最大的坑是"上线前跑一次就束之高阁"。模型迭代、prompt 改动都会引入新漏洞，红队必须进 CI 每次发布都跑。promptfoo 最适合这个场景，DeepEval 次之。配合工具调用 SOP 理解 agent 的工具能力边界，才能知道要测哪些攻击面。

七、常见问题

Q：红队测试和评估有什么区别？A：红队是主动模拟攻击找漏洞（"能不能被打穿"），评估是测模型质量和行为（"答得好不好"）。promptfoo/PyRIT/Garak 偏红队，DeepEval/Inspect AI 偏评估，两者互补不互斥。完整安全实践两者都要。

Q：不会 Python，能做红队吗？A：能。promptfoo 是 TypeScript 写的，配置文件驱动，不写代码也能跑红队。其余五款都要 Python。如果你的团队是 Node 生态，promptfoo 是唯一顺手的。

Q：NeMo Guardrails 能替代红队吗？A：不能。Guardrails 是运行时护栏，挡的是已知攻击模式；红队是上线前找未知漏洞。装了护栏还要做红队，因为护栏本身可能被绕过。两者配合使用。

Q：PyRIT 和 Garak 都偏红队，选哪个？A：看你要不要多轮。PyRIT 强在多轮对抗 probing（逐步升级攻击），适合测 agentic 应用；Garak 强在单轮漏洞扫描覆盖广，适合上线前体检。测 agent 选 PyRIT，测单轮模型选 Garak。

Q：EU AI Act 强制红队，用哪款能合规？A：法案要求的是"对抗鲁棒性测试"的过程和文档，未指定具体工具。promptfoo（可出报告、可进 CI、文档完整）和 Inspect AI（方法论严谨、可复现）最适合出合规证据。具体以你的法务团队认可的格式为准。

参考来源

promptfoo 仓库：github.com/promptfoo/promptfoo（24,090★）｜DeepEval 仓库：github.com/confident-ai/deepeval（17,493★）｜Garak 仓库：github.com/NVIDIA/garak（8,746★） NeMo Guardrails 仓库：github.com/NVIDIA-NeMo/Guardrails（6,900★）｜PyRIT 仓库：github.com/microsoft/PyRIT（4,270★）｜Inspect AI 仓库：github.com/UKGovernmentBEIS/inspect_ai（2,514★）本站相关：OpenAI Astra 暂停热点｜ AI 红队测试 SOP ｜ Agent 工具调用 SOP ｜ MCP 客户端横评本文为代表性对比，非亲自压测；star 据 GitHub API 核实，价格以各官网为准

往期推荐 ① 热点：《OpenAI 暂停 Astra：本周 AI 安全连爆三响》 ② 开源：《hermes-agent：自我进化的 AI agent（星22.8万）》 ④ SOP：《AI Agent 红队测试 SOP：从零搭可复制流程》AI 声明：本文由 AI 辅助生成，经人工审核编辑。文中涉及第三方模型与服务，请以官方说明为准。互动：6 款红队工具里，你团队现在用的是哪款（或哪几款组合）？选型时最看重什么？评论区聊聊。