ARTICLE · 1182704
我让 AI 翻了 600 份文档,第一条结论是编的
上周我要从 600 多份旧文档里找一句话的出处。我把整个文件夹拖进 AI 的对话框，问它「有没有提到 XX」。三分钟后它回了一段话。有日期，有文件名，还有一句引号里的原文，写得比我预期的还专业。我差点直接粘进周报里。后来我点开它给的那个文件，从头翻到尾。那句话根本不存在。
别人翻 435 万页，靠的是三级漏斗
先说我后来看到的对照样本。
软件工程师 Jesse Waites 在 10 月 8 日发了一篇文章，讲他怎么用 AI 翻荷兰东印度公司的档案。材料是 GLOBALISE 项目转录的 435 万页公司档案（17 世纪到 1790 年代），加上荷兰国家图书馆的数字化报纸、两个世纪的美国报纸，还有几本船日志。
他自己算过一笔账：一页读两分钟，每天八小时，一周五天，光公司档案就要读 70 年。
他的解法不是把这堆东西全丢给最强的模型。是三级漏斗。
第一级，他用自己的显卡跑了一晚上（12 小时），把 570 万个段落转成语义向量。这一步的意义是绕开拼写——17 世纪荷兰语里「犀牛」大约有 15 种写法，加上 OCR 自带的噪声，关键词检索基本会漏光。按语义检索，才可能捞到一篇从头到尾没出现过「陨石」这个词的报道（1812 年这个词在英语里还没怎么立住）。
第二级，先用 TypeSafe 的 Jev，一个只回答窄问题的决策模型做筛选。它每次只回答一个判断题：这是不是真动物、是不是野生的、在哪儿。他给的数：让 Jev 读完 5.9 万处「大象」提及，花了大约 3 美元。
第三级，只有被 Jev 打过标的段落，才交给 Claude Haiku 精读、翻译、抽日期和地点；再由 Claude Code 打开原始手写页的扫描件，核对转录对不对。
他说如果全部用 Haiku 读，会贵很多、也慢很多。
我照着改了，但漏了最关键的那一步
看完我立刻改了自己的流程。先做检索粗筛，再让小模型打标，最后让大模型精读并给出处。
改完之后，AI 的回答确实短了，也更像是真的在引用原文。
但我漏了他做的第一件事。
Waites 在正式开搜之前，要求自己的管道必须先重新找到已知事件——Benjamin Breen 找到的 1615 年渡渡鸟目击记录、1783 年 Laki 火山喷发、1815 年 Tambora 喷发，还有大约十来个。他的比喻是：你买了个金属探测器，得先把自己的手表埋进地里，看看它到底能不能探到。
一个在已知数据里找不到已知答案的流程，说「没找到」的时候什么都没说。
我第一次跑没有这一步。所以那条编出来的结论，我根本看不出它是编的。
回头想，我最初那种做法本来就不可能不出问题。600 多份文档一次性塞进去，模型实际能看到的只是被截断的一部分，剩下的它只能靠「这类文档通常会写什么」去补。补出来的东西通顺、具体、格式正确，唯独不是真的。
后来我补上的四步，你可以照着改
▪︎ 先埋手表。开搜之前，从你的文档里挑 3 到 5 条你确定存在的答案，记清楚在哪份文件哪一节。让 AI 先去找这几条。找不到，就说明检索环节有问题，别往下走。我自己现在固定埋 4 条，其中一条故意埋在很冷门的附件里。
▪︎ 让它给坐标，不要给结论。把提问从「有没有提到 XX」改成「列出所有可能相关的位置，给出文件名和段落号，先不要下结论」。这一步我试下来差别很明显：让它找位置比让它编结论容易验证得多，答不上来的时候它会干脆说找不到，而不是现场造一个。
▪︎ 强制贴原文。要求每条候选必须带一段原文摘录，而且摘录要能对应到你打开文件后看到的内容。我现在是让它把原文直接贴在文件名后面，自己点开对一次。这一步躲不掉，也别指望自动化。
▪︎ 结论和证据分两轮。第一轮只出候选清单，第二轮只针对你圈中的那一两条做精读。别让它一口气从检索做到总结，中间那一跳最容易出事。
这四步我跑了两个星期，比第一次稳得多。
代价是慢。原来三分钟，现在要十五分钟。但你拿到的是能直接用的东西，不是看起来能用的东西。
值钱的是「能验证」，不是「读得多」
AI 翻文档这件事，真正值钱的从来不是「它读了多大一堆」，是你有没有办法当场验证它读到的东西。
Waites 找到的那块 1812 年陨石——马哈拉施特拉邦 Pandharpur 附近，据他说不在他查过的六份陨石目录里——每一条发现都挂着一份任何人都能查到的原始扫描件。这个设计我抄了，别的没抄。
补一句：他找到的这些都还只是「候选」，得等专业研究者确认。他自己在文章里也强调，这是 AI 辅助，不是 AI 自动研究。往哪个方向查是他定的，什么时候该收手也是他判断的——原文里那句「我知道自己在什么时候是在抓稻草」，我觉得比整套流程更值得抄。
你有没有被 AI 给过一条很像样、但根本不存在的引用？评论区说说，我想看看是不是只有我这么倒霉。
THE END
