一条把资料、OCR、结构化卡片和问答检查串起来的本地知识工作流。
大家好,我是智研纪。
我做资料审查时,经常遇到一种很笨的场景:文件夹里有一堆 PDF,里面混着扫描件、表格、说明、会议纪要和修改意见。你明知道答案就在里面,可每次要找一条依据,都要打开好几个文件,翻页,截图,再复制到汇报材料里。
这类工作最烦人的地方,其实是资料还停留在一堆文件的状态,没有进入一个可追问的结构。
最近我重新整理了一条小团队能抄走的链路:PDF 先进 OCR 和版面解析,再变成带来源的 Markdown 卡片,然后进本地检索,最后让 AI 只基于证据卡回答问题。
它不追求炫技,也不追求一次建成大型知识库。它只解决一件事:让一批散乱资料变成可复核、可追问、可复用的知识底稿。
**资料工作流的关键,是让每一句回答都能回到原始依据。**
这篇讲完整链路,也讲它会在哪些地方卡住。
第一环:PDF 先拆成可处理的文本块
*扫描件进入 OCR 和版面解析后的中间产物。*
很多知识库失败,第一步就错了。
大家会直接把 PDF 扔给模型,然后期待它理解全文。如果是干净的电子 PDF,这么做有时能凑合;但一旦遇到扫描件、跨页表格、页眉页脚、签章、图表说明,模型很容易把结构读乱。
所以我会先做一个很朴素的预处理:把 PDF 拆成页,把页面里的正文、表格、标题、图片说明尽量分开,再输出成 Markdown 或 JSON。
工具可以有很多选择。开源 OCR、商业文档解析接口、本地脚本都可以。今天 GitHub 信号池里也出现了 Unlimited-OCR 这类项目,它的方向正好说明一个趋势:文档解析正在从识别文字走向保留版面和上下文。
但具体项目能力仍要以你手里的文件测试为准,不能只看项目介绍。
这一环我看重三件事。
第一,能不能保留页码。没有页码,后面的追溯就会断。资料审查最怕一句话说得很像原文,却找不到出处。
第二,表格能不能单独出来。很多关键信息藏在表格里,如果 OCR 把表格拆成一串散行,后面检索会很痛苦。
第三,失败时能不能标记。识别不了的页不要悄悄跳过,至少要在日志里留下第几页解析失败。这比假装全都处理成功可靠得多。
我通常不会在这一环追求完美。先把最常见的正文和表格处理好,把失败页单独拎出来人工看。小团队最怕一开始就追求全自动,最后为了处理少数脏文件,把整条链路拖到跑不动。
第二环:把文本块变成证据卡
*解析后的文本被切成带来源的证据卡。*
OCR 之后,很多人会得到一个很长的 Markdown 文件,然后继续把它丢给模型。
这一步我会停一下。
长文档对人友好,对检索和问答未必友好。真正能复用的单元应该是证据卡。每张卡片只讲一件事,并且带上来源、页码、主题标签和原文片段。
一张卡片至少有五个字段:标题、原文摘录、来源文件、页码范围、我的备注。
标题要按检索来写,比如调洪演算采用的设计洪水标准、施工期导流方案的限制条件、某处断面复核意见。它要让你三个月后还能一眼看懂。
原文摘录要克制。不要把一整页都塞进去,只截能支撑结论的段落。摘录太长,后面模型回答时会把噪声也带进去。
我的备注只写一类内容:这条证据可能服务什么问题。比如用于回答为什么不能直接套用上一版参数。这句话属于工作判断,要和原文事实分开。
**卡片的价值在于可追溯,不在于看起来像一篇完整笔记。**
这里有一个小坑:自动切片很容易按固定字数切,把一句完整的依据拆开。我的处理方式是先按标题、段落、表格边界切;如果没有边界,再按长度兜底。宁可卡片大小不均匀,也不要把一个证据拆断。
这一环跑通后,资料会从一个大文件变成一组可定位的证据。这时再进入检索,AI 才有机会回答得稳。
第三环:先检索证据,再让 AI 回答
*问题进入检索层,命中证据卡后再交给回答模型。*
很多小团队做知识库,会把重点放在模型上:用哪个大模型,窗口多大,回答多自然。
我的经验是,先别急。
在资料型任务里,检索层比回答模型更重要。因为回答模型只负责组织语言,真正决定答案质量的是它拿到了哪些证据。
我会把流程拆成三步。
一是用户提问。问题最好具体,比如这份报告里对施工期导流有什么限制,不要问总结一下这个项目。后者太大,容易得到一段漂亮废话。
二是本地检索。先用关键词和向量检索各跑一遍,再合并结果。关键词适合找专有名词、文件号、断面名称;向量检索适合找近义表达。两者都不完美,合起来会稳一点。
三是带证据回答。模型只能基于命中的证据卡回答,并且每个关键判断后面要附来源。找不到证据时,就说找不到,不要补。
这一步最容易出现看似聪明的错误。模型会把几张卡片之间的关系说得很顺,甚至把推断写成结论。所以我会在提示词里加一条硬规则:区分原文事实、基于原文的推断、需要人工确认的判断。
这条规则听起来麻烦,但在资料审查里很实用。原文事实可以直接引用;推断可以进入讨论;需要人工确认的判断不能直接写进汇报材料。
我那个做资料审查的老同事老周,最早试这类工具时就说过一句很朴素的话:你别给我讲多智能,你先告诉我这句话从哪页来的。这个要求一点都不过分。资料工作就是靠出处站住脚。
第四环:用反向问题检查链路有没有跑偏
*回答完成后,用反向问题检查证据是否支撑结论。*
知识库搭完以后,不能只问它几个顺手的问题,然后觉得能用。
我会专门准备一组反向问题。
第一类是缺失依据问题。比如资料里没有某项批复依据,就直接问某项批复依据是什么。合格的系统应该回答未在当前资料中找到,不能编一个听起来合理的依据。
第二类是相似问题。比如两个断面名称很像,两个版本的参数也很像,检索层很容易拿错。这个测试能暴露切片和标签是否太粗。
第三类是跨页问题。比如一个条件在前文,限制在后文,中间隔了几页。系统如果只能抓单页,就会漏掉关系。
第四类是人工已知答案。拿一个你确定答案的问题测试,看系统能不能找到同一出处。这个测试不需要多,三五个就够。关键是每次更新解析工具或切片规则后,都要重跑。
**资料问答系统最危险的状态,是它大多数时候都对,偶尔错得很像真的。**
所以我不建议一开始就把它接到正式交付里。先让它服务内部检索和初稿准备。等你知道它在哪些文件类型上容易错,再决定要不要进入更严肃的流程。
这一环还有一个维护成本:资料更新。新文件进来后,要能增量解析、增量生成卡片、增量更新索引。每次都全量重建当然也能跑,但资料一多就会慢,而且很难排查是哪次更新引入了问题。
最小版本:先做本地资料助手
*小团队可先保留 OCR、证据卡和本地问答三件套。*
如果你想照着做,我建议把目标压得小一点。
不要一上来就说我要搭一个企业知识库。这个目标太大,权限、协作、版本、审计、成本都会涌进来。先做一个本地资料助手,服务一个人或一个小组,处理一类固定资料。
最小版本只保留三环。
第一,OCR 和版面解析。先挑十份最常见的 PDF,跑一遍,人工看输出。如果表格和页码全乱,后面不用继续。
第二,证据卡。把解析结果切成带来源的卡片,先不用复杂数据库,Markdown 文件加一个索引表就够。
第三,证据问答。让模型只基于命中的卡片回答,回答必须带来源,找不到就说找不到。
成本主要在三处:OCR 质量、切片规则、资料保密。涉及敏感项目资料时,优先本地处理,至少要确认文件不会被上传到你无法控制的服务。这个边界比模型能力更重要。
这条链路也不适合所有材料。图片质量太差、表格跨页严重、扫描件倾斜变形、术语大量依赖图纸的资料,都需要额外人工处理。AI 能帮你缩短整理路径,但它替代不了资料责任人。
我对这类工作流的判断很克制:它不会让小团队一夜之间拥有知识管理系统,但它能先把找资料、抄出处、写初稿这三件事变得更稳。
稳,比炫更值钱。
如果把这条链路再压缩成一张执行卡,就是四步:先把 PDF 解析成带页码的文本块,再切成证据卡,然后检索证据卡,最后用反向问题做回归测试。每一步都保留中间文件,出错时才能知道问题发生在 OCR、切片、检索还是回答。
我不建议小团队一开始就追求漂亮界面。先让文件能追溯,让答案带出处,让错误能复盘。界面可以晚一点做,证据链要先稳住。
这也是资料型 AI 工作流和普通聊天工具最大的区别:普通聊天追求回答顺滑,资料工作追求责任清楚。谁提供了依据,哪一页支撑了结论,哪一句属于推断,都要能摊开看。
如果你所在的小团队现在还没有任何资料系统,别急着买一套很重的平台。先选一类高频资料,做一个小样本:十份 PDF、二十个常见问题、一套证据卡模板。跑完之后再看两个结果:一是同一个问题下次能不能更快找到出处,二是新同事能不能沿着卡片复核你的答案。
这两个结果比界面漂亮更关键。前者说明检索真的减负,后者说明知识开始脱离个人记忆,变成团队可以接力的资产。到这一步,再谈权限、协作、自动更新,才有地基。
我对这条链路的期待很小,也很实在:让资料少一点散,让回答少一点飘,让每次写材料时多一条能回到原文的路。
对小团队来说,这条路已经够用了。先让证据链跑起来,再慢慢把它变成团队流程;先服务一个真实任务,先让团队愿意用,再扩展到更多资料。
夜雨聆风