夜雨聆风学习资料网

ARTICLE · 1225187

AI 测试动态第2期 | 测试工具全面 Agent 化,监管侧开始给 Agent 测试立标准

AI 测试动态第2期 | 测试工具全面 Agent 化,监管侧开始给 Agent 测试立标准

 一起来探索AI测试的奥秘

 To explore AI test 

最近一周的动态有三个趋势值得记录:
1.测试工具从"辅助生成"进入"自主执行与独立验证" ;
2.自愈的闸门设计成为产品共识;
3.Agent 测试开始有监管侧标准。

下面详细来看。

01. mabl 发布 Agentic Testing Harness 更新:给 coding agent 的产出加独立验证关卡

mabl 发布 agentic testing harness 新能力,直指 coding agent 普及后的验证瓶颈:AI 写代码的速度上来了,谁来独立确认这些代码没有破坏核心行为。

技术要点:

  • 团队可以为 agent 定义目标(objectives)与护栏(guardrails),评估变更影响、识别相关测试与覆盖缺口;
  • 验证前置到开发者终端:开 PR 之前就能拿到 mabl 的独立判定
  • 与 Xray、Zephyr、TestRail、Azure DevOps 集成——现有测试用例成为 agent 工作的"标准",结果回流原测试管理系统;
  • 官方数据(前 90 天):agent 分析了 158 万个独立失败、330 万个 agent 会话,coding agent 经 MCP 调用 mabl 300 万次,创建 4200+ 条测试。

值得关注的点: mabl 联合创始人的原话说得很直白:"一个变更可以通过它自己的所有测试,而客户的结账流程已经挂了。"这与第 1 期三份行业报告、OWASP《Secure Coding with AI Cheat Sheet》指出的是同一条主线的最新进展——写代码的 AI 不能给自己的产出做最终裁判,第三方测试平台正在把这个判断做成产品能力。

来源:mabl 官方公告 / QA Financial 报道,2026-10-21

02. UiPath Test Cloud 十月更新:手工用例可以由 AI 直接执行,无需先转自动化

UiPath 发布 Test Cloud 十月更新,三项能力值得关注。
技术要点:
自主测试执行:Test Manager 里已有的手工测试用例,可以由 AI 模型直接执行,不需要先转成脚本化自动化;
自主探索:测试人员设定目标,AI Agent 自主探索应用、调查可疑问题并输出报告——本质是探索式测试的 Agent 化,不是固定回归脚本的回放;
Playwright 集成(公共预览) :平台外创建的 Playwright 测试可以直接跑进 Test Manager,接入统一的测试编排,不必迁移到专有编写模式。
值得关注的点: "手工用例直接让 AI 执行"改变的是自动化的投入产出模型——过去一个用例值不值得自动化,要算脚本开发和维护成本;现在这个计算前提变了。另外 UiPath 的附加定价可以参考:自愈能力 5000 美元/5000 次修复,AI 测试开始有明确的价目表。
来源:UiPath 官方公告(2026-09-23)及 Test Cloud 文档 / WeWantBetter 解读,2026-10-15

03. TestMu AI KaneAI 新功能:录制的测试变成"会自我修复的目标",修复后进人工审核

上期刚入选 Gartner Agentic QA 魔力象限 Leader 的 TestMu AI,本周在 KaneAI 中推出新体验:录制的测试用例被表达为"目标(objectives)",当应用界面发生变化时,目标会被自动重写(re-authored),然后进入人工审核队列,而不是静默通过或直接失败。
技术要点:
  • 测试的核心表达从"脚本步骤"变成"目标":界面变了,目标本身可由 AI 重新组织实现路径;
  • 关键设计在闸门:AI 修复后不静默通过、也不直接标失败,而是挂起等待人工确认;
  • 这对应的是自愈类功能最大的风险:测试被 AI 偷偷改到"能通过"为止,掩盖了产品真实回归。
值得关注的点: 自愈功能之争的焦点从来不是"能不能自愈",而是"自愈之后谁说了算"。TestMu 给出的答案是:AI 改,人审,改写记录可见。这与上期 Gartner 象限里强调的治理能力是一致的——AI 可以动测试,但每次改动要留证据。
来源:TestMu AI(LambdaTest)官方新闻稿(GlobeNewswire),2026-10-19

04. 新加坡 IMDA 发布 AI Agent 测试工具包,首批 5 家认证测试机构出炉

新加坡资讯通信媒体发展管理局(IMDA)10月14日发布一系列 AI 保障措施,其中面向测试行业的是两件事:面向企业的《Agentic 系统安全与可靠性测试入门工具包》,以及首批通过 AI 测试师认证计划(AI TAP)的 5 家机构(含普华永道新加坡等)。
技术要点:
  • 工具包给出四步法:识别风险 → 设计测试 → 分析结果与日志 → 上线后持续监控与重测,基于全球 AI 保障沙盒和 20 多家行业机构的咨询;
  • 认证覆盖五个风险域:幻觉与不准确、不良内容、数据泄露、对抗提示、偏见与公平;
  • 同期成立 FAIRS 前沿 AI 韧性与安全任务组,计划 2027 年上半年发布实践指南。
值得关注的点: 这是政府机构第一次把"如何测试 AI Agent"做成公共方法论,并配套了测试机构的认证体系。Agent 测试正在从企业内部工程实践,变成有公开标准、有认证服务商的正式领域——对标的安全测试行业的发展路径。
来源:IMDA 官方公告 / The Straits Times 报道,2026-10-14

05. Claude Haiku 5.5 发布:API 价格降至上代的 10%Google 开放 Deep Review:Agent 式文档审阅,每周 2 次免费

Google Research 将内部的论文审阅系统(PAT,Paper Assistant Tool)公开为 Deep Review:AI 拆分长文档、并行审阅各章节,输出逻辑漏洞、数学错误和缺乏支撑的论断报告。每周 2 次免费,重度用户可接入自己的 Gemini API Key。
技术要点:
  • 系统已为超过 16000 篇会议论文提供过投稿前反馈,覆盖对象从论文扩展到设计文档、幻灯片、法务合同、财务报告;
  • 准确性证据要冷静看:在撤稿论文基准 SPOT 的子集上(26 篇论文、29 个已知公式与证明错误),检出率 89.7%,同模型 zero-shot 只有 55.2%——但样本很小;
  • 官方也承认失败模式:会误判"证明有错",这是所有基于 LLM 的审阅者的通病。
值得关注的点: "AI 审 AI 和人的产出"的评测思路与测试直接相关:分层拆解 + 并行审阅 + 汇总报告的流水线,就是文档类质量检查的工程化模板。但 29 个错误的小样本提醒我们:看到 AI 检出率数字时,先看分母有多大。
来源:Google Research 官方博客 / AI Magazine 解读,2026-10-14

另外三则简讯:

  1. DeepSeek V4.1 Flash-1017(10-17)与 MiniMax M3.1 Flash(10-19)72 小时内先后发布,Flash 段位输入价格打到 1 元/百万 token——用模型做 LLM-as-a-Judge、批量生成测试数据的成本还在下探。

  2. BrowserStack上线Load Testing 平台(10 月中旬 GA),把真实浏览器行为和 API 流量合进同一场性能测试,支持 100 万 API 虚拟用户,可复用 Playwright/Selenium/JMeter/k6 脚本。

  3. Fiddler推出Dynamic Model Escalation(10-13),专业安全评测模型遇到训练域之外的输入时自动升级到大模型做二次评估——AI 评测的"升级兜底"设计开始产品化。

—— E N D ——

长

按

关

注

一路同频

一起寻找测试中的光.....

相关学习资料