夜雨聆风学习资料网

ARTICLE · 1238532

AI写的代码,别让它自己验,会骗你.

AI写的代码,别让它自己验,会骗你.

AI写的代码,别让它自己验,会骗你。

AI 写的代码,测试全绿,上线照样挂。你以为是 AI 不行?其实是你让它自己给自己发毕业证。

10 月 21 号,测试平台 mabl 发了个 agentic testing harness,说穿了就干一件事:AI 写的代码,换一道关卡来验。

他们联合创始人的原话挺扎心:一次改动可以过掉自己所有的测试,然后客户的结账流程照样挂。写代码的 agent,不该是检查它的人。(这句我抄都不带改的。)

先看他们 90 天的后台:330 万次 agent 会话,158 万个失败被分析,agent 打了 300 万次 MCP 调用,建了 4200 多条测试,官方估算帮客户省了约 10 万工程小时。(厂商口径,听听方向就好,数字打个折。)

这东西怎么进流程:改动还在写,它就评估影响面、挑出该跑的测试、标出没盖住的洞;不开 PR,终端里就能看结果。Xray、TestRail、Azure DevOps 里的老测试用例,直接变成所有 agent 的及格线,结果再写回去。

最干货的是他们自己博客那篇:自家 PR 门禁只留 17 条测试。四步抄作业——挑核心用户旅程,按挂掉的影响排优先级;审测试,只查页面渲染的开掉,换成查有状态的结果;杀 flaky,失败率是乘法,大杂烩必翻车;先挂观察模式,数据证明可信了再设成必过。

我的看法:以后的门槛从「会用 AI 写码」变成「会验 AI 写码」。谁先把验证流水线搭好,谁才敢真的放手让 agent 跑。(写码谁都会了,验收才是手艺。)

你现在 AI 写的代码谁在验?评论区聊聊。图里细讲,左右滑 ↓

广东,28分钟前,

相关学习资料