说出来不怕你们笑话,我以前最怕的事就是手机在半夜两点响起。不是怕处理故障,是怕那种"从被窝里爬起来打开电脑还不知道要面对什么"的感觉。
干运维的应该都懂。白天再忙也就那样了,半夜被叫起来是真的要命。好不容易睡着了,一个电话打过来,整个人都是懵的。等处理完故障,人也清醒了,翻来覆去再也睡不着。第二天顶着一对黑眼圈去上班,感觉跟没睡一样。
我就想,能不能让AI当我的"夜班助理"?晚上我睡觉的时候,它能帮我盯着,普通问题自己处理了,真要人命的问题再叫我。就算要叫,也把前因后果查清楚再叫,别让我半夜还当侦探。
折腾了两个月,还真搞出来了。就聊聊这个值班助手是怎么一步步做的。
第一步:给告警分级,别什么都往群里发
我们之前的状况是:任何告警都往值班群怼。Redis连接不上发一条,CPU超了发一条,甚至某个接口偶发超时也发一条。半夜被叫起来一看,发现是个不影响业务的告警,你想骂人又不知道骂谁。
后来我把告警分成了三级:
P0:服务挂了、核心接口不可用、数据丢了——这种才直接打电话。全年也没几次。
P1:资源快满了、错误率升高、响应变慢——这种推到值班群,但不打电话。值班的人有空看一眼,该处理处理。
P2:偶发错误、单个实例异常、磁盘超过80%——这种自动处理,处理不了就记录日志,第二天上班再看。
分级的逻辑也很简单,就写了个配置文件。但效果立竿见影,半夜被电话吵醒的次数从每周3次降到了每个月1次都不到。而且剩下的那一次,确实是真的需要处理的问题——叫得不冤。
第二步:告警来了,先分析再叫人
P0的告警虽然少,但每次都很棘手。以前流程是:接到电话 → 爬起来开电脑 → 登录监控 → 翻看日志 → 找到根因 → 处理。这个过程少说也要15分钟,处理完业务已经受影响了。
我们加了一个"告警预处理"环节。告警触发后,系统自动做三件事:
查关联:这条告警之前有没有类似的问题?历史工单里怎么解决的?直接翻出来贴在告警后面。
查指标:告警发生前后5分钟的指标变化曲线自动截图,附在告警里。
给建议:根据规则匹配,自动生成可能的根因和修复建议。
现在接到电话,打开手机就能看到:告警原因、关联历史、指标变化、处理建议。以前要花15分钟搞清楚的上下文,现在30秒就看完了。多半时候直接在手机上点几下就处理了,都不用开电脑。
有个兄弟跟我说,自从上了这个,他被老婆骂的次数都少了——以前半夜爬起来开电脑,键盘噼里啪啦的,老婆睡不着就骂他。现在拿手机在被窝里就搞定了。
第三步:自动交接班,再也不用写日报了

值班交接是另一个痛点。以前每次交接班,交班的人要写一份日报,接班的人要花半小时看日志了解情况。赶上交接班的时候告警不断,交班的人走不了,接班的人接不明白。
现在好了,AI自动生成交接单。拉了哪些告警、处理了哪些、还有哪些没处理完、有什么要注意的,全部自动汇总。接班的人扫一眼就知道了,交接班从半小时缩到了5分钟。
交接单还自动推到群里,所有人都能看到。领导也满意,一来就能看到昨天发生了什么。
说点实在的
这一套做下来,最大的改变其实不是技术层面的。
最大的改变是值班这件事从"负担"变成了"没那么可怕"。以前排值班表的时候,人人都想往后躲。现在虽然还是不想值班,但至少不焦虑了——因为知道AI会帮你兜底,真有大事也会提前给你准备好了,不用你从零开始查。
对了,还有个意外的收获。自从告警分级之后,大家对P0的定义特别较真。以前什么破事都标P0,现在标P0之前先问问自己:这事值不值得半夜把人叫起来?这么一问,很多"伪P0"就自己降级了。
这可能就是AIOps最有价值的地方——不是替代运维,而是让运维的工作更人性化。不用半夜爬起来当侦探,不用写一堆没人看的日报,不用在值班这件事上耗光所有的热情。
你要是也在被值班这件事折磨,可以试试从告警分级和告警预处理这两个环节入手。不用搞得多复杂,先把最痛的点解决了再说。
想系统学AIOps落地方法的,可以看看AIOps实战训练营,崔皓和韩先超讲的,从值班体系优化到智能运维都有,挺实用的。

夜雨聆风