LangChain文档加载|实现本地文档问答(PDF/Word/TXT) Day4

# 安装PDF加载依赖（核心依赖）pip install pypdf==4.2.0# 安装文档分割依赖（LangChain内置，需单独安装）pip install langchain-text-splitters==0.0.1# 安装可选依赖（处理Word/TXT文档，按需安装）# pip install python-docx  # 处理Word文档# pip install python-multipart  # 处理TXT文档```## 三、实战1：加载本地PDF文档并分割先实现“加载PDF文档 → 分割文档”的核心步骤，这里以本地一个PDF文件（比如“LangChain官方文档摘要.pdf”）为例，代码可直接复制，只需修改PDF文件路径。【代码片段】（公众号排版用代码块，标注Python语言）```pythonfrom langchain.document_loaders import PyPDFLoader  # PDF加载器from langchain.text_splitter import RecursiveCharacterTextSplitter  # 文档分割器# 1. 加载本地PDF文档（修改为你的PDF文件路径）pdf_path = "C:\\WorkBuddy\\公众号\\LangChain官方文档摘要.pdf"# 示例路径loader = PyPDFLoader(pdf_path)documents = loader.load()  # 加载文档，返回文档列表（每一页为一个文档对象）print(f"PDF总页数：{len(documents)}")print(f"第一页内容预览：{documents[0].page_content[:200]}...")  # 预览第一页前200字# 2. 分割文档（解决大模型上下文长度限制）text_splitter = RecursiveCharacterTextSplitter(    chunk_size=500,  # 每个文档片段的长度（500字符）    chunk_overlap=50,  # 片段之间的重叠长度（50字符），避免分割丢失上下文    length_function=len  # 长度计算方式（按字符数）)# 执行分割，得到分割后的文档片段列表split_documents = text_splitter.split_documents(documents)print(f"分割后的文档片段数量：{len(split_documents)}")print(f"第一个片段内容：{split_documents[0].page_content}")

from langchain.document_loaders import PyPDFLoaderfrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain.llms import OpenAIfrom langchain.chains import RetrievalQA  # 检索式问答链from langchain.vectorstores import FAISS  # 本地向量存储（用于存储文档片段）from langchain.embeddings import OpenAIEmbeddings  # 嵌入模型（用于将文本转化为向量）import os# 1. 配置API密钥os.environ["OPENAI_API_KEY"] = "你的API密钥"# 2. 加载并分割PDF文档（复用上面的代码）pdf_path = "C:\\WorkBuddy\\公众号\\LangChain官方文档摘要.pdf"loader = PyPDFLoader(pdf_path)documents = loader.load()text_splitter = RecursiveCharacterTextSplitter(    chunk_size=500,    chunk_overlap=50)split_documents = text_splitter.split_documents(documents)# 3. 将文档片段转化为向量，存储到本地FAISS向量库embeddings = OpenAIEmbeddings()  # 嵌入模型，将文本转化为可检索的向量vector_store = FAISS.from_documents(split_documents, embeddings)  # 构建向量库# 4. 初始化检索式问答链（串联向量库、大模型，实现问答）qa_chain = RetrievalQA.from_chain_type(    llm=OpenAI(model_name="gpt-3.5-turbo-instruct", temperature=0.7),    chain_type="stuff",  # 最简单的问答类型，将相关文档片段传入大模型    retriever=vector_store.as_retriever(k=2),  # 检索最近的2个相关文档片段    return_source_documents=True# 返回回答的来源文档（方便验证答案准确性）)# 5. 问答测试（基于PDF内容回答问题）print("PDF问答机器人（输入'退出'结束）：")whileTrue:    user_question = input("你：")if user_question == "退出":        print("AI：再见！有任何问题随时来问～")break# 调用问答链，获取回答和来源文档    result = qa_chain({"query": user_question})    print(f"AI：{result['result']}")# 打印回答的来源文档（可选，方便验证）    print("\n回答来源：")for doc in result["source_documents"]:        print(f"- 第{doc.metadata['page']+1}页：{doc.page_content[:100]}...")    print("-" * 50)```