夜雨聆风学习资料网

ARTICLE · 1375745

不是资料不够,是顺序不对:40 个源码包,第一周只跑 5 个

不是资料不够,是顺序不对:40 个源码包,第一周只跑 5 个

大家好,我是欢乐马。

先给你三个数字。

  • • 25% 的假阳性率。AI 生成的测试用例,四条里有一条在给 Bug 背书(1)
  • • 71% 的 GPT-4o 用例有效率。差不多三条错一条(2)
  • • 40 个源码包。我星球里点开的人不少,跑通的人不多(3)

这三个数字看着没关系,其实是同一件事。问题不是框架,是顺序。你缺的不是第41份资料,是这40份该按什么顺序打开。

一、后台真实数据

1. 留言里问的是什么

公众号后台有个留言库。我按人去重数了一遍,20多个人问过同一件事:源码在哪。

星球里小 S上个月也在问:「源码包在哪里?星球上没有找到。」 。

我把正确的位置发了过去。但下载记录不是这么说的。

2. 下载记录里看的是什么

我翻了星球的下载记录(截至十月的快照),找到2个规律:

讲 AI 的那几个包,点开的人多,下载的人少。基础的那几个包,点开的人多,下载的人也多。

阅读与下载对比快照:

源码包
阅读
下载
24 号 AI(Agent测试指南)
138
21
02 号 Playwright(基础)
89
65

不是后面的包不好。是收藏夹里躺着几十个「有用」,真正跑的少。

3. 外面的课在卖什么

现在讲 Playwright 的课,十个里有八个把 AI 放在第一章。

因为好卖。AI 三个字母就是流量。

可 AI 恰恰是最不该先学的那一节。

二、为什么不先推荐学 AI 测试

AI 写的代码交给 AI 来测,出了问题谁背锅?

这一节可能跟你在别处看到的不一样。

AI 让写测试这件事变简单了,但它让另一件事变难了:判断一条测试到底对不对。

以前写一条用例要十分钟,你写的时候脑子里一直在磨「这个断言写什么」。现在AI 几秒种生成 100 条用例,你敢说每一条都看完了?还是你一条都不会想看。

我追踪过 AI 的思考过程,以生成和输出测试用例来说,大概如下:

它先读你的代码,再照代码现在的行为,把期望值写进去。代码对,用例就对;代码错,用例跟着错,大多时候它不会红。

你让 AI 当了运动员,就不能再让 AI 当裁判员。

那究竟要裁判什么?

举个例子。

你的登录接口有个 Bug:密码错了也返回 200。你让 AI 写用例,它读到「密码错 → 返回 200」,于是老老实实写下一行:密码错误时,断言状态码等于 200。

测试跑完,绿了。你还挺高兴。

可这条断言测的根本不是你想要的「密码错就该拒绝」,它测的是「系统当前就是这么干的」。它把 Bug 变成了预期。

四条里有一条是这种东西。25% 说的就是它(样本未公开,供参考)。

还有一份研究:让 GPT-4o 照代码写用例,有效比例 71%——三条里错一条。

所以真正的底层逻辑是:断言要对齐业务预期,不是对齐代码当前行为。 业务说密码错要拒绝,那断言就必须是拒绝;代码现在返回 200,那是 Bug,不是标准。

AI 不知道你的业务。它只知道你的代码。

承担责任的,永远只能是人。

顺序比学什么重要

会判断了,AI 才是加速器;不会判断,AI 只是放大器。

所以我从来不建议一上手就学 AI。不是 AI 不好用,是你还不会判断它的输出,它给你的就是一百条假绿,而且每一条都有模有样,甚至胡说八道还一本正经。

先学会判断,再会怎么跑,最后才让 AI 批量生产。

这个顺序反了,你学到的 不是指挥 AI 干活,搞不好被 AI 带偏了。

三、第一周跑哪 5 个

40个包按依赖排,第一周其实只需要5个。

1|01 Python 基础

环境能起来。这步不过,后面全是报错。

2|02 Playwright 基础

第一行测试能跑。到这儿才第一次看到浏览器自己动。

3|03 POM 设计模式

结构。写第三个测试你就开始复制粘贴了,它是来止这件事的。

4|06 API 自动化

接口 + UI 一体。只会点页面的人,一问接口就哑。

5|断言包(38 号)

验收。前四个都会跑,这步才分真假。

顺序别反。

我见过有人第一个包直接上 POM,第二天就放弃了。定位器都没搞明白,先学分层,等于还没学会说话先学语法。

那为什么跳过 04、05、12?它们编号更靠前。

因为它们是锦上添花,不是地基。

04 GitHub Actions——CI 是第六件事。你本地都跑不稳,上 CI 只是把错误自动跑一遍,还多一个更难查的环节:你连日志在哪都不知道。

05 数据驱动——参数化是好东西。但你连一条稳定断言都写不出来,参数化只是把同一个错误重复二十遍,而且更难定位。

12 AI 提示词模板——这个确实好用,我天天用。但它得放在你会判断输出之后,不然一百条用例,一百条假绿。

先把地基铺完,再搬家具。

四、一周怎么排

先把「跑通」说清楚,免得又变成收藏。

跑通不是命令行出现 passed。是你知道它为什么 pass,改哪个值它会红。

做不到这两点,那不叫跑通,那叫跑过一次。

每天两小时,别攒到周末。

周一|1 小时|01 环境

验收:命令行出现 passed。

周二|2 小时|02 基础

验收:自己写一条,改个断言,看它变红。

周三|2 小时|03 POM

验收:把周二那条拆成 page + test 两个文件。

周四|2 小时|06 接口

验收:不开浏览器,用 request 拿回一次 200。

周五|2 小时|38 断言

验收:删掉一条断言,看它还绿不绿。

周末|1 小时|串起来

验收:五个包连成一条能从头跑到尾的流程。

这段建议存下来。反正攒到周末的结果,都是下载二十个、跑通零个。

五、会跑不如会断言

前面四步解决「会跑」。可「会跑」这件事,在 AI 时代特别容易骗人。

第五个包不教你怎么写断言。教你怎么判断一条断言是不是废的。

三个问题,问完就知道。

一、这段代码坏掉,这条测试会不会红?

想不出怎么让它红,它就是在陪你玩。

二、这个期望值哪来的?

说得出出处——需求、手算、文档——才算数。说不出,八成是抄了返回值。

三、把断言删了,测试还过吗?

还过,说明它本来就没在测。

第三条最狠,也最快。不用懂方法论,删一行就知道了。

我一直记着一句话:一个测试如果不能失败,它比没有测试更糟。

没测试你至少知道自己裸奔;有假绿,你会以为有人在守夜。

六、少走弯路少踩坑

都是我自己踩过的卡点,你先存下来,后面能节省时间。

1. 卡在浏览器下载,npx playwright install 报错

多半是浏览器没下全,重跑一次。不是代码的问题,别去改配置。

2. 卡在找不到元素

先别加 waitForTimeout。跑 npx playwright codegen 看一眼它认的是哪个元素,八成认错了。

3. 卡在跑通了但我不信

回第五节,问那三个问题。信不过的绿灯,比红灯更该查。

七、结语

源码包不是收藏品,是练习册。

40个包躺在那里,不会让你变成更好的测试。跑通5个,会。

第一周只跑这 5 个,剩下 35 个等你有场景了再翻。那时候你是在挑工具,不是囤货。

下载四十个不算学,跑通五个才算。

星球里下载Top和这张路线图都置顶了,卡住直接在那条帖子下面问,我回。


参考来源

(1)Software Testing Mentor《AI test hallucinations: false positives》,2026-10(2)arXiv 2411.08254《Validating LLM-Generated Test Cases》,2024-11(3)星球后台下载快照,2026-10-19,非随机抽样,供参考

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料