ARTICLE · 1385925
RAG 实战:从文档加载到向量检索
RAG 实战:从文档加载到向量检索的六步全流程,生产环境避坑指南
摘要
RAG 是大模型落地的第一道刚需,也是客服、文档助手等场景的准确率分水岭。本文基于某互联网平台与某广告科技公司的生产实践,拆解 RAG 从文档加载、切分、嵌入、存储到检索的完整链路,给出 Chroma/FAISS 检索策略选型、分块参数与避坑要点,代码可直接跑通。
一、为什么 RAG 是落地的第一优先级
在某广告科技公司的客服智能体项目中,未接入企业私有知识库的版本回答准确率不足 60%;接入 RAG 后,准确率稳定提升到 90% 以上。这不是理论推演,而是线上真实数据。
大模型的两个先天短板决定了 RAG 的必要性:
其一,知识冻结。 训练语料有截止日期,比如问"最近一周广告投放效果",模型无法回答。某广告科技公司的投放策略每周更新,靠微调重训一次要数天,RAG 则只需更新向量库。
其二,幻觉。 在金融、医疗、广告合规等高敏感场景,一次错误回答的代价远超工程成本。RAG 让模型"开卷作答",把答案锚定在真实文档上。
RAG 的本质:通过向量数据库作为外部知识源,把模型缺失的知识以结构化方式提供,本质是检索 + 生成的组合。
二、RAG 六步全流程
Source(数据源) → Load(加载) → Transform(切分) → Embed(嵌入)→ Store(存储) → Retrieve(检索) → Generate(生成)
第一步:数据源与加载
支持的格式覆盖 TXT、PDF、CSV、JSON、HTML、Markdown 及网页 URL。LangChain 提供对应 Loader:
from langchain_community.document_loaders import (TextLoader, PyPDFLoader, CSVLoader,JSONLoader, UnstructuredHTMLLoader,UnstructuredMarkdownLoader, DirectoryLoader)# PDF 加载示例loader = PyPDFLoader("policy.pdf")docs = loader.load()# JSON 需指定 jq_schemajson_loader = JSONLoader(file_path="data.json",jq_schema=".[]",text_content=False)
避坑:PDF 中的表格与图片文字提取是最大痛点,生产环境建议先做 OCR 质量评估,再决定走 RAG 还是转人工审核。
第二步:切分(决定 RAG 效果的关键)
为什么不整篇塞进 Prompt?两个原因:一是整篇文档含大量无关信息,噪声会干扰推理;二是任何模型都有最大 Token 限制,几百兆的 PDF 不可能整篇传入。
LangChain 提供 25+ 种文本分割器,生产环境首选 RecursiveCharacterTextSplitter,按 \n\n → \n → 空格 → 标点 → 字符 逐级降级切分:
from langchain.text_splitter import RecursiveCharacterTextSplittersplitter = RecursiveCharacterTextSplitter(chunk_size=4000, # 块大小,默认 4000 字符chunk_overlap=200, # 块间重叠,防断句separators=["\n\n", "\n", " ", ""])chunks = splitter.split_documents(docs)
也可用 CharacterTextSplitter 指定分隔符,或 TokenTextSplitter 按 Token 数切分——后者的优势是能精准对齐模型输入上限,且 Token 是计费单位,便于成本控制。
避坑:chunk_size 不是越大越好。块太大噪声多,块太小语义断裂。建议按业务指标(RAG 问答准确率)反推,而不是盲目套默认值。
第三步:嵌入
嵌入模型把文本块转为高维向量,“语义相近则向量距离近”,这是后续相似度检索的基础。
from langchain_community.embeddings import HuggingFaceEmbeddingsembedding = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5" # 中文场景推荐)
LangChain 封装了两种接口:embed_documents() 批量向量化文档,embed_query() 向量化单句查询。生产环境强烈推荐开源模型(如 BGE 系列),参数量小、CPU 可跑、支持领域微调,效果不输商业 API。
避坑:嵌入模型要与语义切分器联合验证。若嵌入模型未针对中文/专业领域微调,语义切分器的边界判断会失效。
第四步:向量存储
LangChain 支持 50+ 种向量库。某互联网平台生产环境选型对比:
生产环境推荐组合:RecursiveCharacterTextSplitter + BGE Embedding + similarity_threshold=0.75 过滤低置信度结果。
第五步:检索策略(六类方法)
# 1. 基础相似度检索(余弦相似度)db.similarity_search("哺乳动物", k=4)# 2. 直接传向量检索emb = embedding.embed_query("哺乳动物")db.similarity_search_by_vector(emb, k=4)# 3. 带元数据过滤db.similarity_search("哺乳动物", filter={"source": "动物"})# 4. L2 距离分数(值越小越相似)db.similarity_search_with_score("量子力学")# 5. 余弦相似度分数(越接近 1 越相似)db.similarity_search_with_relevance_scores("量子力学")# 6. MMR 最大边际相关性(平衡相关性与多样性)db.max_marginal_relevance_search("广告投放策略", lambda_mult=0.8)
MMR 的 lambda_mult 参数:0 侧重多样性,1 侧重相关性,生产环境常取 0.8。
避坑:向量库"双存储"设计(向量 + 原文)必须保证元数据强一致。Chroma 默认配置在并发写入时可能出现向量与原文错位,务必启用 persist_directory 并加校验钩子。
第六步:生成
把检索到的 Top-K 片段拼进 Prompt,交给大模型生成。某互联网平台生产环境的标准做法:
from langchain_core.prompts import ChatPromptTemplatefrom langchain_core.output_parsers import StrOutputParserfrom langchain_openai import ChatOpenAIrag_prompt = ChatPromptTemplate.from_messages([("system","你是企业知识助手,仅基于以下上下文回答问题。""若上下文无法回答,明确告知用户,禁止编造。\n\n""上下文:\n{context}"),("human", "{question}")])def format_docs(docs):return "\n\n".join(f"[来源 {i+1}] {d.page_content}"for i, d in enumerate(docs))chain = ({"context": retriever | format_docs,"question": RunnablePassthrough()}| rag_prompt| ChatOpenAI(model="deepseek-chat", temperature=0)| StrOutputParser())answer = chain.invoke("广告投放 ROI 怎么算")
关键设计:System Prompt 强制约束"仅基于上下文作答",并要求在答案中标注来源编号。这是抑制幻觉最有效的一道防线——在某广告科技公司项目中,加入来源约束后,编造率下降了约 40%。
五、重排序:把检索精度再提一档
向量检索召回的 Top-K 里往往混有噪声。某互联网平台的做法是在检索后加一层重排序(Rerank):
向量库召回 Top-30 候选 用专门的 Rerank 模型(如 bge-reranker)对候选重新打分 取 Top-5 喂给大模型
重排序适合高精度场景(专业知识库、合规问答),但不适合对实时性要求极高的场景——多一跳就多一份延迟。生产环境建议只对置信度低于阈值的查询触发重排。
from langchain_core.documents import Documentdef rerank(query: str, candidates: list[Document], top_k: int = 5):# 伪代码示意:调用 Rerank 模型重新打分scored = []for doc in candidates:score = rerank_model.predict(query, doc.page_content)scored.append((score, doc))scored.sort(key=lambda x: x[0], reverse=True)return [d for _, d in scored[:top_k]]
避坑:重排序模型本身也是个模型,需要额外的推理资源。某广告科技公司曾因 Rerank 服务单点故障导致整条链路超时,后来改为本地部署 + 降级策略(Rerank 失败时回退到原始 Top-K)。
三、语义切分:比机械切分更懂文档结构
机械切分(按字符数、按 Token 数)容易破坏语义完整性。语义切分器通过计算相邻文本块的向量余弦相似度,动态划分窗口,确保主题连贯。
三类语义切分策略:
生产环境建议:语义切分效果虽好,但依赖嵌入模型计算,成本随文档规模显著上升。某互联网平台的做法是——对核心业务文档(如合规政策、产品手册)用语义切分,对一般性文档用递归字符切分,按文档价值分层处理,兼顾成本与效果。
代码示例:
from langchain_experimental.text_splitter import SemanticChunkerfrom langchain_community.embeddings import HuggingFaceEmbeddingssemantic_splitter = SemanticChunker(embeddings=HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5"),breakpoint_threshold_type="standard_deviation",breakpoint_threshold_amount=1.5)semantic_chunks = semantic_splitter.create_documents([open("policy.txt", encoding="utf-8").read()])
避坑:SemanticChunker 依赖嵌入模型做相似度计算,若嵌入模型未针对中文或专业领域微调,会导致切分逻辑失效——比如技术文档中术语相似度误判。部署前务必用领域语料做切分边界合理性验证。
四、Retriever:把向量检索升级为 AI 原生召回
当需求不复杂时,向量库自带检索够用;需求复杂时,要用 Retriever。Retriever 不存文档,而是在向量库之上叠加大模型能力:
查询改写:把用户问题扩展为多个检索词 文本压缩与重排序:过滤噪声、提升 Top-K 质量 自然语言转结构化查询
retriever = db.as_retriever(search_kwargs={"k": 5})docs = retriever.invoke("广告投放 ROI 怎么算")
避坑:Retriever 的查询改写 + 重排序会显著增加首字延迟(TTFT)。建议分级:简单查询直连向量库,复杂意图才走 Retriever。
六、RAG 的优缺点与隐私风险
优点:比提示词工程上下文更丰富,不需要用户提供过多背景描述;比微调时效性与可靠性更好,可动态注入新数据;一定程度上保护业务数据隐私。
缺点:每次问答都涉及外部系统数据检索,响应时延相对较高;引用的外部知识会消耗大量模型 Token 资源。
隐性风险:向量库部署在公有云时,攻击者可能通过对抗样本从向量中还原原始敏感信息(如患者病历片段)。某互联网平台在金融场景的应对方案是"向量库本地化 + 模型私有化 + 检索过程加密"三位一体,例如用 Intel SGX 可信执行环境运行向量检索服务,确保检索链路全程不出域。
七、选型对比:什么场景用什么方案
某互联网平台的决策原则是:RAG 解决"知识可信",Agent 解决"行为可控"。两者协同构成大模型工程化的主干路径,而微调只用于需长期固化领域知识的垂直场景。
五、生产环境避坑清单
结尾互动
RAG 说起来就六步,但线上效果差异往往藏在切分策略和检索参数里。我在某公司项目中调了三周,才把准确率从 70% 拉到 90%。你在实际项目中用的哪个向量库?切分参数怎么定的?欢迎评论区交流。














































































