ARTICLE · 1375745
不是资料不够,是顺序不对:40 个源码包,第一周只跑 5 个

大家好,我是欢乐马。
先给你三个数字。
• 25% 的假阳性率。AI 生成的测试用例,四条里有一条在给 Bug 背书(1) • 71% 的 GPT-4o 用例有效率。差不多三条错一条(2) • 40 个源码包。我星球里点开的人不少,跑通的人不多(3)
这三个数字看着没关系,其实是同一件事。问题不是框架,是顺序。你缺的不是第41份资料,是这40份该按什么顺序打开。
一、后台真实数据
1. 留言里问的是什么
公众号后台有个留言库。我按人去重数了一遍,20多个人问过同一件事:源码在哪。
星球里小 S上个月也在问:「源码包在哪里?星球上没有找到。」 。
我把正确的位置发了过去。但下载记录不是这么说的。
2. 下载记录里看的是什么
我翻了星球的下载记录(截至十月的快照),找到2个规律:
讲 AI 的那几个包,点开的人多,下载的人少。基础的那几个包,点开的人多,下载的人也多。
阅读与下载对比快照:
不是后面的包不好。是收藏夹里躺着几十个「有用」,真正跑的少。
3. 外面的课在卖什么
现在讲 Playwright 的课,十个里有八个把 AI 放在第一章。
因为好卖。AI 三个字母就是流量。
可 AI 恰恰是最不该先学的那一节。
二、为什么不先推荐学 AI 测试
AI 写的代码交给 AI 来测,出了问题谁背锅?
这一节可能跟你在别处看到的不一样。
AI 让写测试这件事变简单了,但它让另一件事变难了:判断一条测试到底对不对。
以前写一条用例要十分钟,你写的时候脑子里一直在磨「这个断言写什么」。现在AI 几秒种生成 100 条用例,你敢说每一条都看完了?还是你一条都不会想看。
我追踪过 AI 的思考过程,以生成和输出测试用例来说,大概如下:
它先读你的代码,再照代码现在的行为,把期望值写进去。代码对,用例就对;代码错,用例跟着错,大多时候它不会红。
你让 AI 当了运动员,就不能再让 AI 当裁判员。
那究竟要裁判什么?
举个例子。
你的登录接口有个 Bug:密码错了也返回 200。你让 AI 写用例,它读到「密码错 → 返回 200」,于是老老实实写下一行:密码错误时,断言状态码等于 200。
测试跑完,绿了。你还挺高兴。
可这条断言测的根本不是你想要的「密码错就该拒绝」,它测的是「系统当前就是这么干的」。它把 Bug 变成了预期。
四条里有一条是这种东西。25% 说的就是它(样本未公开,供参考)。
还有一份研究:让 GPT-4o 照代码写用例,有效比例 71%——三条里错一条。
所以真正的底层逻辑是:断言要对齐业务预期,不是对齐代码当前行为。 业务说密码错要拒绝,那断言就必须是拒绝;代码现在返回 200,那是 Bug,不是标准。
AI 不知道你的业务。它只知道你的代码。
承担责任的,永远只能是人。
顺序比学什么重要
会判断了,AI 才是加速器;不会判断,AI 只是放大器。
所以我从来不建议一上手就学 AI。不是 AI 不好用,是你还不会判断它的输出,它给你的就是一百条假绿,而且每一条都有模有样,甚至胡说八道还一本正经。
先学会判断,再会怎么跑,最后才让 AI 批量生产。
这个顺序反了,你学到的 不是指挥 AI 干活,搞不好被 AI 带偏了。
三、第一周跑哪 5 个
40个包按依赖排,第一周其实只需要5个。
1|01 Python 基础
环境能起来。这步不过,后面全是报错。
2|02 Playwright 基础
第一行测试能跑。到这儿才第一次看到浏览器自己动。
3|03 POM 设计模式
结构。写第三个测试你就开始复制粘贴了,它是来止这件事的。
4|06 API 自动化
接口 + UI 一体。只会点页面的人,一问接口就哑。
5|断言包(38 号)
验收。前四个都会跑,这步才分真假。
顺序别反。
我见过有人第一个包直接上 POM,第二天就放弃了。定位器都没搞明白,先学分层,等于还没学会说话先学语法。
那为什么跳过 04、05、12?它们编号更靠前。
因为它们是锦上添花,不是地基。
04 GitHub Actions——CI 是第六件事。你本地都跑不稳,上 CI 只是把错误自动跑一遍,还多一个更难查的环节:你连日志在哪都不知道。
05 数据驱动——参数化是好东西。但你连一条稳定断言都写不出来,参数化只是把同一个错误重复二十遍,而且更难定位。
12 AI 提示词模板——这个确实好用,我天天用。但它得放在你会判断输出之后,不然一百条用例,一百条假绿。
先把地基铺完,再搬家具。
四、一周怎么排
先把「跑通」说清楚,免得又变成收藏。
跑通不是命令行出现 passed。是你知道它为什么 pass,改哪个值它会红。
做不到这两点,那不叫跑通,那叫跑过一次。
每天两小时,别攒到周末。
周一|1 小时|01 环境
验收:命令行出现 passed。
周二|2 小时|02 基础
验收:自己写一条,改个断言,看它变红。
周三|2 小时|03 POM
验收:把周二那条拆成 page + test 两个文件。
周四|2 小时|06 接口
验收:不开浏览器,用 request 拿回一次 200。
周五|2 小时|38 断言
验收:删掉一条断言,看它还绿不绿。
周末|1 小时|串起来
验收:五个包连成一条能从头跑到尾的流程。
这段建议存下来。反正攒到周末的结果,都是下载二十个、跑通零个。
五、会跑不如会断言
前面四步解决「会跑」。可「会跑」这件事,在 AI 时代特别容易骗人。
第五个包不教你怎么写断言。教你怎么判断一条断言是不是废的。
三个问题,问完就知道。
一、这段代码坏掉,这条测试会不会红?
想不出怎么让它红,它就是在陪你玩。
二、这个期望值哪来的?
说得出出处——需求、手算、文档——才算数。说不出,八成是抄了返回值。
三、把断言删了,测试还过吗?
还过,说明它本来就没在测。
第三条最狠,也最快。不用懂方法论,删一行就知道了。
我一直记着一句话:一个测试如果不能失败,它比没有测试更糟。
没测试你至少知道自己裸奔;有假绿,你会以为有人在守夜。
六、少走弯路少踩坑
都是我自己踩过的卡点,你先存下来,后面能节省时间。
1. 卡在浏览器下载,npx playwright install 报错
多半是浏览器没下全,重跑一次。不是代码的问题,别去改配置。
2. 卡在找不到元素
先别加 waitForTimeout。跑 npx playwright codegen 看一眼它认的是哪个元素,八成认错了。
3. 卡在跑通了但我不信
回第五节,问那三个问题。信不过的绿灯,比红灯更该查。
七、结语
源码包不是收藏品,是练习册。
40个包躺在那里,不会让你变成更好的测试。跑通5个,会。
第一周只跑这 5 个,剩下 35 个等你有场景了再翻。那时候你是在挑工具,不是囤货。
下载四十个不算学,跑通五个才算。
星球里下载Top和这张路线图都置顶了,卡住直接在那条帖子下面问,我回。
参考来源
(1)Software Testing Mentor《AI test hallucinations: false positives》,2026-10(2)arXiv 2411.08254《Validating LLM-Generated Test Cases》,2024-11(3)星球后台下载快照,2026-10-19,非随机抽样,供参考















































































