ARTICLE · 1016522
AI自动化上线之后:它不会报错,它老实把错的上上去
上一篇写完评测集那阵子，我以为这套东西就算告一段落了。
规则有了，评测有了，改完能跑一遍。该有的都有了。
后来有天翻闲鱼后台，看数据觉得不对劲，倒回去查，往前好几批都有问题。具体错在哪，我这会儿说不全了。
那段上架脚本跑了挺久，从没崩过。
一、我以为“坏了”是会有动静的
坏有两种。
一种是崩。报错，跑不动，一行红字甩在那儿，你当天就知道。
另一种什么都没有。它跑得很顺，退出码是0，输出看着也挺正常，只是结果是错的。
第二种占了我遇到的大多数。
之前那套上架流程就是这么回事。少东西它也挂，词提取岔了它也挂，挂完之后没人会告诉我。
第二天看后台，数据有点不对劲，才倒回去翻。当时我还以为是自己记错了。
15号那篇写过Kevin补的第四问：它出错的时候，客户知道它错了吗。
那句是冲着交付说的。这篇要问的是往前挪一步的事：它出错的时候，我知道吗。
大部分时候不知道。
自动化这块最别扭的地方就在这儿：它默认自己是成功的，不会主动说。
二、公司盯的是服务，我盯的是结果
公司里做AI自动化，监控盯的是服务活着没活着。CPU、内存、接口耗时、错误率，一整面仪表盘。
这套对个人不是没用，是错位。
我的脚本从来不崩。崩了我反而松口气，崩是个明确的信号，我知道去哪儿看。要盯的是另一件事：它吐出来的东西对不对。
这东西画不成图。CPU高了那是机器的事，标题写错了那是结果的事。两个层，仪表盘只管得着下面那层。
还有个差别更麻烦。
公司那套里，写告警的人、看告警的人、处理告警的人，是三拨。中间那拨不看告警是有代价的，得有人追。
一个人干活，这三拨都是我。
给自己写邮件告警这事我试过，脚本出错发一封。听着合理，实际撑不了几周。人对自己发的提醒免疫得特别快，我猜这跟自制力关系不大，是被提醒的人和写提醒的人一旦是同一个，那个提醒就没什么分量了。
我是做运营出身的，推送疲劳这套逻辑我清楚。轮到自己身上，一样扛不住。
公司那边出问题，好歹有个外部信号。用户会投诉，运营会反馈，流量掉了有人在会上提出来。我的闲鱼号要是出了岔子，能告诉我的人基本不存在。生意往下掉也不一定想到是脚本的锅，多半先怀疑是不是标题没改好。
信号只能自己造。这就是为什么告警那条路断了之后，我愣了一阵子，不知道接下来该盯什么。
三、天天盯撑不住，我改成抽着看
告警那条路断了之后，换了个笨办法。
不当天看。跑完那批隔一天再看，隔了一夜，你对自己昨天那个改动没那么护着，看得出问题来。当天看容易带着滤镜。
也不全看，隔天早上抽五条。
我不想把话说死。抽样最大的毛病就是漏，没抽到的那批可能正好有岔子。可全查要花的时间，跟拿这时间多改一处比，哪个更划算，我说不好。反正我现在是这么选的，不太有把握这是对的。
有一条例外：刚改完那批必须全查。刚动过规则的时候出错概率最高，这时候抽等于赌。
还有个细节，抽的位置别固定。固定抽前几条的话，等于只查了前几条。出错的输入往往长得很像，它们是扎堆的。
还有个地方跟上一篇容易混。评测集那批题是固定的，跑一万遍还是那批评测题。它能告诉你这次改动有没有把以前能答对的答错。它告诉不了你今天这批真实数据里，有没有你从来没见过的情况。这是两件事，别指望一个顶俩。
四、什么位置该留个人
15号那篇提过一句，能不能全自动，看错了赔不赔得起。那句太粗了，这次说怎么划。
我划得挺土：发出去收不回来的，人站前面。
给真人发消息、动价格、删东西，这些留人。改标题改主图，错了能改回来，让它自己干。
听着清楚，坑在后面。
人的状态是会变的。
一个确认框，你每天点，点上一阵子之后手就比眼睛快了。框还没看清，鼠标已经下去了。我那个批量改价的确认按钮，有一次我连点了七遍，点完才发现价格从9.9改成了0.99。好在发现得早，不然那一晚上架的全得亏。
怎么解我没想明白。我能想到的都是些土办法，管不管用不好说。你要是有靠谱的，评论区教我。
跟钱沾边的，我建议还是别自动化得太干净。哪怕数额很小。不是说程序靠不住，是这块出了岔子很难退回去，扯皮的成本比省下的那几分钟贵。
五、有一块我到现在也没解决
阈值。
什么叫数据不对劲？我现在的答案还是靠感觉。我知道这不算答案。
曝光本身就有起伏，掉两成是正常波动还是脚本出了问题，我分不出来。要是一下掉一半，那当然是出事了，可那时候已经过去好几天。
要真解决，得先把“正常能波动到什么程度”测出来，跑段时间记录区间，超出区间才算异常。
道理我懂，一直没做。没做的理由很实在：我不知道该记多少天算够，怕记了一周发现样本太少，又怕记了一个月发现中间隔了个活动，数据全脏了。就一直拖着。
有谁做过，评论区教我一下。
六、说点实在的
四篇写下来是一条线：搭之前别想太多，用什么别图厉害，改完怎么验证，跑起来之后怎么盯着。
真实体感不是这个顺序。跑到上线那天是最松的一天，它动了，它自己在干活，人会有一种这事完了的错觉。
完了的是搭。没完的是盯。
我不太信一劳永逸这回事，至少AI自动化这块没有。上了之后你的活没少，是从动手换成了动眼。
这也不算坏消息。动手那部分本来就该越来越少。你要是到今天还在手处理同一件事，多半是前面哪一步压根没跑通。
空话就到这。
回复“盯梢”，我把这篇里提到的那几条检查项整理成一页，你照着自己的情况改。
还有个问题想问：你的自动化，上一次认真看它的输出是什么时候？我猜多数人答不上来，我前几天也答不上来。