软件测试 – 线上信号要反喂测试
很多团队上线后,测试就转下一个需求。线上监控归运维,告警归研发,投诉归客服。等事故复盘时,测试才重新被拉回来。说实话,这种分工在 AI 时代会越来越吃亏。
因为现在系统变化太快,很多风险只会在线上暴露。测试人如果不看线上信号,下一次设计用例时还是靠想象。
成熟的测试流程,要把线上信号反喂到测试:告警、投诉、慢接口、业务异常、用户路径流失。
01别只看错误率
错误率当然要看,但它不是全部。很多业务事故不会报 500。比如优惠没生效,用户直接走了;推荐错了,转化率下降;Agent 答非所问,用户不再追问。这些都是质量信号。
02把线上信号变成测试任务
我建议每周从线上拉一张风险榜:投诉 Top5、告警 Top5、慢接口 Top5、失败路径 Top5。每个信号都问一句:这个问题上线前能不能测出来?如果能,下次补 case;如果不能,补观测。
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
03一个轻量做法
线上信号反喂
weekly_signals = collect([‘alerts’, ‘complaints’, ‘slow_api’, ‘dropoff’])
for signal in weekly_signals:
if signal.preventable:
test_suite.add_regression(signal.case)
else:
observability.add_probe(signal.metric)
测试不是只能发生在上线前。真正有价值的是把线上事实带回团队,让下一次测试更准。这样风险地图才会活起来,而不是一张会后没人看的表。
上线不是测试结束,而是下一轮风险地图的开始。
夜雨聆风