ARTICLE · 1125967
AI 工具实测:资料塞得越全,AI 答得越烂
上个月我要啃一份 300 页的产品资料,二十一万个字。
我干的第一件事,是把整个 PDF 拖进对话框,敲了一句:"通读一下,帮我总结重点。"
它回得很快,条理还挺清晰,我甚至有点爽。直到我随机抽了 24 个细节问题去考它——答对了 14 个,准确率 58%。
那一刻我才反应过来:我一直以为"给得越全,它懂得越多",这可能是这一年我踩过最贵的一个坑。
以前:资料越多越踏实,是我最大的错觉
很长一段时间,我的习惯是"宁可多给,不能漏给"。
20 个文件一起丢、整本手册一起丢、连聊天记录都一起丢。理由很朴素:信息都摆在这儿了,你总不会答错吧?
这个思路在搜索时代是对的——你搜得全,就能翻到那一页。但大模型不是翻页,它是在猜下一个字。你给它的不是"资料库",是一锅越煮越糊的汤。
反转:给得越少,它反而越准
我做了个笨实验:同样那 24 道题,改成只喂跟题目相关的 40 页,大约 2.8 万字。
答对 21 道,准确率 88%。耗时从 3 分半掉到 50 秒。
更扎心的是第二个发现。我把同一句关键结论,分别放在长文档的开头、中间、结尾三个位置去问。
结果:放开头命中率 92%,放中间只剩 31%,放结尾 78%。
也就是说——那些被你塞在文档中段的干货,它大概率"看过但没看进去"。这就是业内说的"中间迷失",不是玄学,是我一段段数出来的。
我现在只喂它三样东西,步骤是固定的
踩完坑以后,我给自己定了一套死流程,四步,雷打不动:
第一步:我自己先写 5 行"结论页"。我要什么、背景是什么、判断标准是什么、不要什么、输出长什么样。这 5 行比那 300 页资料管用得多。
第二步:原文最多给 3 份,每份不超过 3000 字。砍不掉,说明我自己都没想清楚要问什么。
第三步:最关键那句话,开头写一遍,结尾再写一遍。中间那段它是真会丢。
第四步:让它先复述,再回答。就一句:"先用 3 句话说说你看到了什么,再回答。"它复述错了你一眼就能抓出来,比等它写 2000 字再返工省事太多。
这套流程走完,我的返工率从原来的一半,掉到不到一成。
三个坑,我全踩过,你别再踩
坑一:把"长上下文"当成"全记得"。能塞进去,不等于能想起来。窗口是 20 万字,注意力不是。
坑二:让它"通读后总结"。它总结的是"它觉得重要的",不是"你要的"。你得先说清你要什么,它才知道该看哪儿。
坑三:一次丢 20 个文件。它为了赶工就开始编。我统计过,一次给 20 份时编造细节的比例明显上升;给 3 份以内,几乎不编。
写在最后
这一年我最大的变化,不是学会了什么高级提示词,而是学会了一件事:喂给 AI 之前,先逼自己想清楚。
你砍资料的过程,其实就是在逼自己弄明白——我到底要问什么。AI 没让我变懒,它让我没法再糊弄自己。
给你一条能直接带走的判断线:只要它回答里出现"根据文档""如上所述",你却找不到原句——立刻停,缩小范围重新问。
你一次最多给 AI 塞过多少资料?几百字,还是整本手册?评论区报个数,我想看看谁比我更狠。