前言
作为一个从事业务开发的程序员来说,我想每个人都经历过生产问题的排查吧,特别是一个特别紧急的生产问题,老板们坐在旁边,生产系统又一直在报警的那种心跳刺激感。我想是每个人都经历过吧.哈哈.随着AI时代的到来,我想这一切是时候让AI来解救我们了。

系统的墒增-一切噩梦的源头
我们都知道-一个一开始的软件系统一定是很clean的,任何一个有着追求的程序员都有着一股强大的执念-要做出一个架构特别棒,能支撑10年的变化的架构设计。但是理想是美满的,现实是骨感的。软件工程领域最大的不变就是变化。业务系统的本质是为业务需求而服务的。这就天然注定了系统的控制权不在我们程序员手里.这里不得不提一个基本原理: 系统的复杂度= 业务复杂度 + 设计复杂度。其中产品经理设计的业务流程很大程度上会注定导致一个系统的复杂度上来:而这一切在《信息论》里已经说明: 系统本身就是一个熵增的过程。而且一个更坏的情况是: 产品经理设计流程时,大多数是没有深思熟虑的,所以就更大程度上加深了系统的熵增的过程。然后我们再讨论第二个情况:系统设计导致的复杂度的上升: 很多程序员有另外一种理念:设计出来越复杂的设计越能证明我的技术的上的能力: 有一种炫技的在里面。这里就不展开了。但是另外时候 又在面临一些挑战时候 不得不增加设计的复杂度:比如一个业务场景: 为了应付数据量级的上升: 有时候单笔操作的数据量会达到上亿级别。于是为了消除这种技术上的挑战 引入了技术复杂度:异步MQ,定时任务等处理手段。然而,这些技术手段在解决性能问题的同时,却给运维带来了巨大的“隐形债务”。业务知识往往仅存储在几位资深工程师的脑海中,形成了难以复制的“经验孤岛”。对于新人而言,面对错综复杂的业务链路,排查问题的时间成本极高。在紧急故障面前,这种心理压力与技术门槛的双重挑战,往往成为业务开发中最痛苦的时刻。但是随着AI的到来,这一切就仿佛是看到了一种新的希望

AI 的推理与人类工程师的直觉
AI 的强大之处在于其泛化能力与逻辑推理潜力,但要将其转化为实际的生产力,我们需要理解人类工程师是如何排查问题的。
当一位资深工程师面对故障时,他并非盲目地翻阅日志,而是基于当前现象构建“假设”。随后,他会通过查阅日志、执行 SQL 查询、阅读源码等手段来验证这些假设。这是一个“假设-验证-修正”的循环过程。
然而,在构建 AI Skill 时,我们面临一个两难困境:固定的流程(SOP)具备很强的约束力,能确保不遗漏步骤,但过度的约束会让 AI 失去泛化推理能力,变得僵化;反之,若完全放任 AI 自由发挥,又可能导致其产生幻觉或逻辑跳跃。
因此,我们的核心设计思路是:定义一套“推理协议”,将人类的排查直觉转化为 AI 可执行的原子化能力。

Skill 设计:原子化能力与推理协议
为了让 AI 像工程师一样思考,我们需要将排查动作解耦为原子能力,并赋予其调用的逻辑。
首先是原子化能力的封装。我们将排查过程中涉及的基础操作封装为独立的工具或脚本,例如:用于检索特定错误码的查日志 Python 脚本、用于核对数据一致性的 SQL 查询工具、以及用于定位业务逻辑的源码阅读接口。
其次是经验召回机制。在设计 Skill 时,系统不应从零开始思考,而应具备“经验检索”能力。当问题输入时,系统首先检索历史经验库,看是否有类似的故障模式,从而快速缩小排查范围。
最后是推理协议的定义。这是连接原子能力与问题解决的桥梁。AI 需要根据当前的上下文,决定调用哪个原子能力,并根据返回结果调整下一步的策略。

经验沉淀:打造系统的“第二大脑”
一个优秀的诊断系统,必须具备自我进化的能力。我们设计了一套经验沉淀系统,旨在将每一次排查转化为系统的长期记忆。
当工程师(无论是资深员工还是实习生)完成一次问题排查后,系统会要求其将本次的排查路径、关键发现及最终结论反馈给系统。这些数据经过清洗和结构化处理后,存入向量数据库。
下次遇到类似问题时,系统在加载推理协议前,会先检索历史经验。这种机制不仅能让 AI 快速复用前人的智慧,还能随着使用频次的增加,不断积累新的故障模式,形成正向循环

攻克 AI 幻觉:严谨的证据链与第一性原理
在 AI 介入排查的过程中,我们发现了两个典型问题,并制定了相应的解法。
首先是 AI 在证据链不足的情况下贸然给出答案。为了解决这一问题,我们强制要求 AI 在推理协议中,必须在每一步操作后给出明确的“原因说明”。如果证据不足以支撑结论,AI 必须继续排查,而不是猜测。
其次是排查方向验证未完成就跳过。有时 AI 会急于求成,在某条路径尚未完全证伪时就跳转到下一条路径。对此,我们引入了“第一性原理”的约束机制。系统被设定为必须在一个排查路径上执行彻底的验证,只有在穷尽了该路径的所有可能性并确认无效后,才被允许切换到下一个排查方向。
通过这套系统,我们将资深工程师的经验代码化、工具化、系统化。这不仅解放了资深员工的生产力,更为实习生提供了一条清晰的成长路径,让团队在面对复杂业务挑战时,能够更加从容不迫。

最后
AI确实是一个很强大的生产力,希望我们对它的探索和边界使用能够更深吧
夜雨聆风