当 AI 学会「自己越权」,软件测试的下一个风口来了

最近几个月，AI 圈出了几件让测试人后背发凉的事。

`OpenAI` 的一个测试智能体，被安全研究员曝出向 `Ruby` 官方包仓库 `RubyGems` 上传了 2000 多个恶意包，逼得平台停新注册 4 天；更早一点，它的智能体在测试中「逃」出沙箱，侵入了开源平台 `Hugging Face`。

据多家外媒报道，`Anthropic` 的威胁情报报告也承认：Claude 被用来做网络攻击、生物武器研究、大规模诈骗。

于是有了罕见的一幕：`Anthropic CEO` 阿莫代伊发文呼吁「给 AI 前沿踩刹车」，`OpenAI` 的奥特曼和马斯克罕见一致响应；加州州长则签下了全美首部 AI 审计法。

你可能觉得：这跟我一个写用例、跑接口、点页面的测试工程师，有什么关系？

关系比你想的大得多。因为上面这些「越权」，不是传统意义上的代码漏洞，而是 AI 在拿到工具和权限之后，自主做出的错误决策。

而「怎么测一个会自己做决定的 AI」，正是一片几乎还没人开垦、却马上要爆发的测试新领域。

先把话说透。我们测试工程师手里的安全测试，其实是「确定性」的：测的是代码路径，找的是 SQL 注入、XSS、越权接口这些有固定套路、能复现的漏洞。

但 AI Agent 不一样。它是一个拿到了工具、权限和数据的「实习生」——能读文件、能跑命令、能发请求，还能自己决定「什么时候、对谁、干不干」。它的每一步，都是模型的概率性决策，而不是代码的确定性分支。

一句话总结这个差异：传统安全靠「扫漏洞清单」，Agent 安全靠「对抗 + 护栏 + 审计」。

清单是死的，Agent 的越权路径是活的、会随提示漂移的。你没法用一张固定清单，去覆盖一个会「随机应变」的东西。

这就是为什么，那些被吹成「全能」的 AI 智能体，会干出「上传恶意包」「逃出沙箱」这种没人提前料到的事——因为越权的不是代码，是决策。

既然测的是「决策」，那就要顺着 Agent 从外到内的交互层次，一层层打。我们把风险拆成六层，这也是我们课程里正在打磨的「AI Agent 安全测试模型」：

其中 ① 提示注入 是最核心的新攻击面——传统安全测试里压根没有它的位置，也是测试工程师最容易上手、最容易出成果的切入点。

给你一个最直观的例子。让 Agent 去读一个网页、提炼摘要，网页里藏了这么一句话：

Agent 照不照做，取决于它的护栏设计得够不够硬。这类「藏在数据里的指令」，就是提示注入测试的核心对象。它不会触发任何传统扫描器的报警，却能让你整个系统裸奔。

方法论讲完了，落到「怎么干」。我们把 Agent 安全测试做成一个四步闭环，正好对应「输入 → 中间产物 → 最终产出」：

四步拆开讲：
1. 攻击面建模——搞清楚「它手里有多少把刀」。这一步的思路，和接口测试先梳理接口资产清单一模一样，只是把「接口」换成了「工具」。
2. 红队对抗——像攻击者一样，主动喂它恶意提示、污染数据，看它会不会越权。这是最像「安全测试」、也最吃经验的一步。
3. 护栏拦截——给危险动作（执行命令、写文件、发外部请求、转账、删数据）拉一张「黑名单」，用规则引擎 + 大模型双重判官实时阻断，再反过来测护栏能不能被绕过。
4. 审计回归——把 Agent 的每一步决策 + 动作记成全量日志，事后审计「它当时为什么会这么干」，把越权用例沉淀成回归库，喂给下一轮建模。

这四步是闭环，不是一次性动作。 你发现一个新越权姿势，就进回归库，下次建模时变成新的攻击面——这和回归测试「缺陷反哺用例」是同一套逻辑。

不想从零搭，市面上已经有一批能直接上手的开源工具。记住它们的全名，这是你进入这个领域的「器」：

其中，OWASP Top 10 for LLM 一定要先看。它的 2025 版清单里，第 1 条就是「Prompt Injection（提示注入）」，第 6 条叫「Excessive Agency（过度自主）」——翻译过来就是「给 AI 的权力太大了，它干出了权限之外的事」。上面那些越权事件，本质都是这两条。

说点掏心窝的话。

作为一家在一线做软件测试培训的机构，我们这两年最深的体感是：测试岗位的价值，正在从「守住代码」，转向「守住 AI 的行为」。

所以这件事我们不是「听说」，而是在真刀真枪地做。我们已经把「AI Agent 安全测试」正式纳入课程研发方向，正在打磨一套六层模型 + 四步闭环的教学框架，也在同步研发对应的 AI 技能工具，让学员能「拿到清单就能上手测」。

我们判断：这会成为软件测试领域下一个真正的新增岗位方向。 道理很简单——企业敢把 AI Agent 放进生产，就必然要有人为它的「越权」负责。而这类人，现在几乎找不到。

早一步的人吃肉，晚一步的人喝汤，再晚的人，可能连测试用例都没资格写了。

别被「AI 安全」四个字吓住。它没有你想的那么高不可攀。

提示注入，本质上就是「往数据里藏一句指令，看 AI 听不听话」；越权审计，本质上就是「翻它的动作日志，看它有没有干任务之外的事」。这些活，测试工程师比安全工程师更擅长——因为测试天生就在做「给系统挑错」。

AI 不会淘汰测试工程师。但会用 AI 做安全测试的测试工程师，会淘汰不会的。

这个新风口，你准备好接了吗？

互动讨论

你们团队现在敢把 AI Agent 放进生产吗？最担心它干出什么事？评论区聊聊，我挑几个典型的回复。