乐于分享
好东西不私藏

业务规则的结构化:用知识工程的方法论做文档核查应用

业务规则的结构化:用知识工程的方法论做文档核查应用

重人力的文档审核,怎么稳妥地交给 AI

这两年里,很多企业都做过一轮 AI + 知识库、数据治理类的项目。一个共识慢慢清晰:数据质量,往往决定了 AI 是停在 demo,还是真能帮业务提效。

但过往大家最先解决的,多是事实类数据的质量管理,而下一步用 AI 为业务带来更多价值的实践,正在从”事实”走向”流程”:把散落在法规、行业标准、内部 SOP、乃至专家脑子里的业务规则,也变成有内容、有结构、能被管理和迭代的东西。这一步,可以叫规则的结构化,本质上是对一类业务知识的建模

其中最典型的落点之一,是 AI 文档核查应用

在企业内的合规、风控、内控、质控、审批、制度审查等场景里,核查工作有个共同点:重人力、重流程、也重复。通常要审的是一类反复出现的同构文档,背后有一套写得下来的规则依据,但做法却还是靠人逐条去对,效率不高、依赖专家、也容易漏。

在我们过往的很多 AI 核查实践中,更花功夫的,是背后这套规则怎么建、怎么落——如何把企业和专家的知识,建模成机器可理解、可执行的规则。

为什么需要规则:裸跑 vs 带规则体系

做 AI 文档核查应用,常见两种方式。一种是”裸跑”——把文档和要求整个交给大模型或某个 agent,让它自己通读、自己挑问题;在个人使用的场景里,这不失为一种办法。

但”裸跑”放到 AI 实际生产中,一些情况会慢慢显出来:它不太说得清自己查了哪些、漏了哪些;规则一多,就容易读到后面忘前面;每次结果还不稳定,只给结论、给不出证据链,没法复核,也沉淀不成能重复用的资产,这一遍跑完,攒不下什么能重复用的东西,下次换份文档,几乎又得从头来。

企业更需要的,是一个工程化、可重复给多人和业务使用、稳定、能追溯、可复核的文档核查系统。这样的系统,更依赖按一套固定流程逐条执行的确定性;让一个聪明的智能体自由发挥,反倒不容易稳。

于是另一种更合适的做法是:先把核查标准是什么理成一条条明确的规则,再据此构建一套 AI 核查系统。核查系统好不好的分水岭之一,不在模型聪不聪明,而在背后那套规则

AI 核查系统更需要什么样的规则?

好规则至少要做到下面几件事:

我们把专家知识和审核规则,建模成技能化的规则:一条规则就是一个独立、可执行、可溯源、可复用的单元,像一块规则芯片。

以资管信披核查应用中的一条脱敏规则为例,它要审的是:公募产品的信息披露,原则上应当采取公开披露方式。同一条规则,在核查系统里其实有三种形态,从一句法规,一步步变成机器能读、能跑的东西。最初,它只是法规里的一句原文:

我们先把这句话,拆成一条机器读得懂的结构化规则,写清它的来源、条款原文、适用范围、判断逻辑和相关术语。

最终,把它打包成一个能被调用、能运行的规则单元:自带判定说明、可执行检查、来源与样本;其中能用代码执行的用代码,需要判断的才交给模型。

对比一句笼统的”这里可能有问题”,这样一条规则有来源、有原文、有能被检验的判断、也回得到原处,这才谈得上一条能被 AI 核查系统稳定执行的规则。

把造规则本身,做成一套知识建模的工序

在一套完整的核查系统背后,需要的是一座能执行、能溯源、能复用的规则库。这座规则库并非凭空写出来的,它来自核查场景里本就存在的依据:监管法规、行业标准、企业自己的审核 SOP、检查清单等规则文档。

但难点在于:怎么把这些又长又杂、还常常互相交叉的文档,批量、又准确地,变成一条条像前面那样、贴合这个场景和这套系统要核查的规则,最后攒成一座规则库。

这件事背后,也是我们做了很多年的知识工程——我们把造规则库本身,也做成了一套有工序的流水线。

我们做了一次中立横评:拿同一份资管监管 AI 核查系统构建任务,把我们的做法和几种当下主流的通用做法,放在同一批材料、同一份需求、同一套依据来源下,对比谁能把核查做得更全、更准、更可复核。

几个关键角度看,带规则体系的优势很清楚:

覆盖更全——把法规拆成 500 多条可执行规则、覆盖每一部、每条可溯源回原文;通用做法要么只切块、没拆成规则,要么遗漏大半法规。

报得更准——精确率最高、对干净文档零误报;部分通用做法报出大量条目与数十处误报,刷屏并不等于有用。

关键问题命中——各方大体相当;我们并非以多报取胜,而是在同等命中下把误报降到最低、每条结论可复核。

越覆盖越准——规则覆盖深的条线(如银行理财、信托)精确率极高、零误报;规则尚未覆盖的条线,宁可不下结论,也不做无依据判断。

落地更完整——原文定位、跨文档核查、复核工作台等”可交付”功能基本齐备,通用做法多有缺失。

带规则体系的实践,靠的是知识工程:把判断的来源沉淀成一套可执行、可溯源的规则,让核查又快又省,也足够可靠、每条都能复核。

好规则,让 AI 核查系统更好用,也更经济

回看我们的多年实践,AI 核查系统的很多关键功能,都离不开高质量的规则库:

更高质量的规则,让AI核查应用在构建和运行时都更经济

规则库一旦立好,之后的核查大多能交给系统自动、批量地跑:能用代码判定的直接跑代码,只有真正需要判断的那一小部分才交给模型。

也正因为留给模型的活儿已被规则切得又小又明确,这一步往往用不上最强的大模型,换成更小、更便宜的模型也能稳定完成核查。在对算力成本或数据合规有要求的场景,它可以跑在本地部署的小模型上

用知识工程的方法论,构建更好的 AI 文档核查应用

在每一个具体的文档核查应用背后,我们一直在实践同一套方法——知识工程:把一个领域里的审核标准和专家经验,建模成机器能执行、能溯源、也能复用的规则。

规则这块打磨好了,上层的核查系统才谈得上全、准、稳。

这套把审核标准变成规则的知识工程,并不太挑业务场景。如果你手上也有一类需要反复核对的文档、一套能说清楚的依据(法规、行业标准或内部 SOP),以及对应的核查业务需求,想把人工替换为 AI 驱动的核查系统,欢迎和我们一起聊聊。

后面在 AI 文档核查方向上,我们会挑几个真实场景:公募资管、资管新规、各类合同审查等,分别和大家分享由这套工程方法构建的具体核查系统。

如果你想加入 AI 文档核查应用的实践交流,请点击【文因互联 → 底部栏 → 社群交流】。