千万级文档的企业RAG该怎么搭

千万级文档的企业 RAG，别指望模型聪明。把准确率压力甩给大模型，这系统早晚崩。

很多人以为 embedding 真懂语义。其实它只是在抓哪些词常一起出现。搜“离职期权怎么处理”，它能给你捞回一堆入职授予的段落。因为两边词重合太多，它根本不知道这是两件相反的事。文档一多，这种反义错位的材料成批涌进来。大模型拿到烂材料，自然拼不出正确答案。

所以架构的核心就一句话：把准确率负担挪到检索里，把“克制”当成功能。

检索环节有两件事不能妥协。一是 BM25 和向量必须一起上。搜产品型号、报错码时，向量检索反而容易串台。传统关键词检索更准，两条路得合并跑。二是分两步查。先用近似最近邻快速捞出几百个候选。再交给交叉编码器精排，因为它能同时看问题和段落。这样就能拦下那些意思相反的干扰项。

精排之后如果分数都不够，就让系统老实说“我不知道”。千万别为了凑答案，把勉强相关的材料塞给大模型去编。在真实业务里，一个会说“我不知道”的系统，比永远自信的系统可信得多。

#ai#rag #fde #ainative #ai落地