夜雨聆风
今天测试我做的AI知识库时，发现了一件让我很不舒服的事。
我上传了12篇AI行业的分析文档——将近两周的数据——然后让AI帮我生成一份市场洞察周报，目标是帮独立开发者识别机会。
AI很自信地给出了回答。有框架、有分析、有建议，看起来像那么回事。
但我仔细一查：整篇报告里，只引用了其中2篇文档的内容。
剩下10篇呢？完全没读。就敢给你写报告。
一、不是笨，是太"聪明"了
我没有急着改代码，而是先搞清楚为什么会这样。
排查下来，原因让我意外——AI不是读不懂，是"聪明"到知道怎么偷懒。
简单说，AI模型能一次性处理的信息量是有限的（术语叫"上下文窗口"）。当你丢给它12篇文档，内容超出了它能处理的范围，多出来的部分就会被悄悄扔掉。
关键问题是：它不会告诉你。
它不会说"文档太多了我读不完"。它会基于读到的那一小部分，自信满满地给你一个完整答案。
打个比方：老板让你读12本书然后写一份读书报告，你只翻了前2本，但你装作全都读了，凭想象把剩下10本的内容也"写"了进去。
听起来很荒谬对吧？
但你每次上传一份50页的PDF给AI、问"这份合同有什么风险"的时候，你可能正在经历这件事。
二、不只是我的问题
我一开始以为这是我自己的Bug。但越查越发现，这几乎是所有AI工具的通病。
ChatGPT、Kimi、豆包、通义千问……当文档量一大，超出模型的处理能力时，多出来的内容就是被静默丢弃的。区别只在于：大多数产品选择不告诉你。
你去问任何一个AI工具："你读完我的文档了吗？"它会回答"是的"。但你没有办法验证。
这就是为什么有时候AI给你的答案"听起来对，但总觉得哪里不对"——不是你多疑，是真的不对。它基于不完整的信息，编造了一个看起来合理的答案。
三、查到了什么
继续往下查，我发现问题出在两个地方：
第一，AI的"记忆力"被写死了。
系统里有一个固定数字，控制着AI一次能读多少内容。不管你上传2篇还是20篇，这个上限都不变。文档一多，超出的部分就被无声地砍掉了。
这就像给AI配了一个固定大小的盘子，装不下的就直接倒掉，还假装什么都端上来了。
第二，文档多了，它只读前几篇就收工。
系统逐篇读取文档做分析时，前面的文档正常处理，到了后面的就直接跳过了——没有任何提示，没有任何报错，就当那些文档不存在。
12篇文档，只有前2篇被认真读了，后面10篇被静默忽略。然后AI基于这2篇的内容，"编"出了一份覆盖12篇的报告。
这两个问题叠加在一起，就是你在测试中看到的：文档越多，丢失越严重。12篇丢10篇，20篇可能丢18篇。
四、下一步怎么修
我还没有完全修好这个问题，但修的方向已经清楚了：
不再用固定数字，改成根据AI模型的实际容量动态计算——有多大肚子就吃多少饭 文档多了就公平分配，每篇提取关键要点，确保每篇至少被"看到" 如果实在读不完所有文档，直接告诉你"本次只覆盖了X篇"，而不是装作全都读了
思路不复杂，但要把每个环节都做到位，还需要时间调试。
五、为什么我坚持做"本地"知识库
这件事让我更加确信一件事：AI工具必须可被检查。
云端AI的好处是强大，模型大、算力强。但代价是，你不知道它在后台做了什么。它读了你的文档吗？读了多少？基于什么内容给你的答案？你无从查证。
本地AI的好处是，所有数据都在你自己电脑上。你可以检查它的每一步操作——它检索了哪些文档、引用了哪些段落、跳过了什么。
不是说本地AI就不会犯错。它会，而且现在还在犯。区别是，你能看到它犯的错。
我做的这个知识库还在早期阶段，今天刚发现的这个Bug就是证明。但至少有一点：问题摆在那里，你能看到，我也能看到，然后修它。
六、最后
如果你也遇到过"AI给你的答案总觉得哪里不对"的情况，现在你知道原因了——大概率不是你表达不清，是它压根没读完你给的东西。
我们正在招募第一批体验官，产品还早期，Bug还在修，但如果你愿意和一个"把问题摆在台面上"的产品一起成长，欢迎来试试。
下一篇我会详细写这个Bug的修复过程，感兴趣的可以关注一下。
你用AI处理文档时，有没有怀疑过它其实没认真读？来评论区聊聊。
