ARTICLE · 1238532
AI写的代码,别让它自己验,会骗你.
AI写的代码,别让它自己验,会骗你.
AI写的代码,别让它自己验,会骗你。
AI 写的代码,测试全绿,上线照样挂。你以为是 AI 不行?其实是你让它自己给自己发毕业证。
10 月 21 号,测试平台 mabl 发了个 agentic testing harness,说穿了就干一件事:AI 写的代码,换一道关卡来验。
他们联合创始人的原话挺扎心:一次改动可以过掉自己所有的测试,然后客户的结账流程照样挂。写代码的 agent,不该是检查它的人。(这句我抄都不带改的。)
先看他们 90 天的后台:330 万次 agent 会话,158 万个失败被分析,agent 打了 300 万次 MCP 调用,建了 4200 多条测试,官方估算帮客户省了约 10 万工程小时。(厂商口径,听听方向就好,数字打个折。)
这东西怎么进流程:改动还在写,它就评估影响面、挑出该跑的测试、标出没盖住的洞;不开 PR,终端里就能看结果。Xray、TestRail、Azure DevOps 里的老测试用例,直接变成所有 agent 的及格线,结果再写回去。
最干货的是他们自己博客那篇:自家 PR 门禁只留 17 条测试。四步抄作业——挑核心用户旅程,按挂掉的影响排优先级;审测试,只查页面渲染的开掉,换成查有状态的结果;杀 flaky,失败率是乘法,大杂烩必翻车;先挂观察模式,数据证明可信了再设成必过。
我的看法:以后的门槛从「会用 AI 写码」变成「会验 AI 写码」。谁先把验证流水线搭好,谁才敢真的放手让 agent 跑。(写码谁都会了,验收才是手艺。)
你现在 AI 写的代码谁在验?评论区聊聊。图里细讲,左右滑 ↓
广东,28分钟前,















































































