ARTICLE · 1225187
AI 测试动态第2期 | 测试工具全面 Agent 化,监管侧开始给 Agent 测试立标准
一起来探索AI测试的奥秘
To explore AI test
下面详细来看。
01. mabl 发布 Agentic Testing Harness 更新:给 coding agent 的产出加独立验证关卡
mabl 发布 agentic testing harness 新能力,直指 coding agent 普及后的验证瓶颈:AI 写代码的速度上来了,谁来独立确认这些代码没有破坏核心行为。
技术要点:
团队可以为 agent 定义目标(objectives)与护栏(guardrails),评估变更影响、识别相关测试与覆盖缺口; 验证前置到开发者终端:开 PR 之前就能拿到 mabl 的独立判定 与 Xray、Zephyr、TestRail、Azure DevOps 集成——现有测试用例成为 agent 工作的"标准",结果回流原测试管理系统; 官方数据(前 90 天):agent 分析了 158 万个独立失败、330 万个 agent 会话,coding agent 经 MCP 调用 mabl 300 万次,创建 4200+ 条测试。
值得关注的点: mabl 联合创始人的原话说得很直白:"一个变更可以通过它自己的所有测试,而客户的结账流程已经挂了。"这与第 1 期三份行业报告、OWASP《Secure Coding with AI Cheat Sheet》指出的是同一条主线的最新进展——写代码的 AI 不能给自己的产出做最终裁判,第三方测试平台正在把这个判断做成产品能力。
02. UiPath Test Cloud 十月更新:手工用例可以由 AI 直接执行,无需先转自动化
03. TestMu AI KaneAI 新功能:录制的测试变成"会自我修复的目标",修复后进人工审核
测试的核心表达从"脚本步骤"变成"目标":界面变了,目标本身可由 AI 重新组织实现路径; 关键设计在闸门:AI 修复后不静默通过、也不直接标失败,而是挂起等待人工确认; 这对应的是自愈类功能最大的风险:测试被 AI 偷偷改到"能通过"为止,掩盖了产品真实回归。
04. 新加坡 IMDA 发布 AI Agent 测试工具包,首批 5 家认证测试机构出炉
工具包给出四步法:识别风险 → 设计测试 → 分析结果与日志 → 上线后持续监控与重测,基于全球 AI 保障沙盒和 20 多家行业机构的咨询; 认证覆盖五个风险域:幻觉与不准确、不良内容、数据泄露、对抗提示、偏见与公平; 同期成立 FAIRS 前沿 AI 韧性与安全任务组,计划 2027 年上半年发布实践指南。
05. Claude Haiku 5.5 发布:API 价格降至上代的 10%Google 开放 Deep Review:Agent 式文档审阅,每周 2 次免费
系统已为超过 16000 篇会议论文提供过投稿前反馈,覆盖对象从论文扩展到设计文档、幻灯片、法务合同、财务报告; 准确性证据要冷静看:在撤稿论文基准 SPOT 的子集上(26 篇论文、29 个已知公式与证明错误),检出率 89.7%,同模型 zero-shot 只有 55.2%——但样本很小; 官方也承认失败模式:会误判"证明有错",这是所有基于 LLM 的审阅者的通病。
另外三则简讯:
DeepSeek V4.1 Flash-1017(10-17)与 MiniMax M3.1 Flash(10-19)72 小时内先后发布,Flash 段位输入价格打到 1 元/百万 token——用模型做 LLM-as-a-Judge、批量生成测试数据的成本还在下探。
BrowserStack上线Load Testing 平台(10 月中旬 GA),把真实浏览器行为和 API 流量合进同一场性能测试,支持 100 万 API 虚拟用户,可复用 Playwright/Selenium/JMeter/k6 脚本。
Fiddler推出Dynamic Model Escalation(10-13),专业安全评测模型遇到训练域之外的输入时自动升级到大模型做二次评估——AI 评测的"升级兜底"设计开始产品化。
—— E N D ——
长
按
关
注
一路同频
一起寻找测试中的光.....
















































































