夜雨聆风学习资料网

ARTICLE · 1394267

整份 PDF 都发给 AI 了,为什么它偏偏漏了最关键的一条?

整份 PDF 都发给 AI 了,为什么它偏偏漏了最关键的一条?
假设你把一份活动报名手册发给 AI,问:「我们第一次参赛,需要交演示视频吗?」
它答得很肯定:「需要。根据第 2 条,参赛队须提交报名表和演示视频。」
你翻回去一看,第 2 条一字不差。可手册附录里还有一句:首次参赛的队伍只需提交报名表,无须提交演示视频。
这是个模拟例子。它展示了一种比「AI 编了条规定」更难发现的错误:它引的原文是真的,但漏掉了会改变答案的那一条。上传成功,不等于模型逐页读完有些文档问答工具会先把文件拆成片段,再挑出和问题相关的几段交给模型。这样做叫「检索增强生成」,简称 RAG。如果这次只找到了正文,没找回附录,模型就可能拿一条真实但不完整的规定来回答。
即使把材料完整放进模型的输入,位置也可能影响答题。2024 年发表的《Lost in the Middle》做过一个对照:问题和材料都不变,只挪动含有答案的那份材料。在一组由 20 份材料组成的测试中,同一个受测模型在答案材料排第一时,正确率约为 76%;挪到中间时,约为 54%。这不是今天所有模型的表现,但说明了一个区别:能放进多少文字,和能不能用对里面的信息,是两回事。 (aclanthology.org)别让它先给结论,让它先把两条原文摆出来下次问「要不要交」「能不能参加」「我这种情况算不算」时,可以把提问改成这样:我的情况是:[写清对象和具体情况]。我想确认:[写一个具体问题]。先摘录相关原文并标出章节或条款。请分别找一般规定、适用条件,以及附录或脚注里可能改变答案的例外。再解释哪条适用于我。找不到足够依据就说「未找到足够依据」,不要把它写成「文档没有规定」。如果两条规定有冲突、原文又没说哪条优先,把冲突列出来,不要替文件下结论。
拿到回答后,重点检查两件事:引文能不能在原文里找到?它有没有说到你这类人? 在报名的例子里,只引用「参赛队须提交视频」还不够,必须处理「首次参赛」那条。要是 AI 漏引了你手动找到的附录,就把正文和附录两段一起贴进去,用同一个问题再问一次,对照答案有没有变。想知道手上的 AI 靠不靠谱,拿三道题试它选一份你熟悉、可以上传的文件,先自己写好标准答案,再问 AI:
  1. 一道能直接找到答案的题。 例如:报名什么时候截止?
  2. 一道有例外的题。 例如:首次参赛的队伍要交视频吗?
  3. 一道文件没说的题。 例如:提交之后能不能换队员?别只看三题答对几道。第二题要看它有没有找到例外,第三题要看它能不能承认依据不足。这两项比「总结写得挺像回事」更能告诉你:下次遇到关键条件,哪些答案还得回原文核对。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料