我把公司300份文档喂给AI,它成了比老员工还懂业务的专家:RAG技术 + DeepSeek + 向量数据库,让AI基于你自己的精准回答问题

项目信息

详情

项目名称

AI私有知识库（RAG系统）

核心功能

上传文档→自动切分→向量化→语义检索→AI精准回答+来源引用

使用工具

DeepSeek V4 + LangChain + ChromaDB + BGE向量模型

开发周期

1个周末（约14小时）

使用成本

DeepSeek API每月约10-20元，本地部署零成本

编程要求

Python基础即可，代码可直接复制运行

适合人群

知识管理者、企业培训、技术文档管理、客服团队

对比维度

直接问AI

RAG知识库

准确性

容易编造内容（幻觉）

基于真实文档，准确率高

可溯源

无法知道答案来源

标注出处文档和页码

文档容量

受上下文窗口限制

可处理数万份文档

更新维护

无法更新知识

新增文档即可更新

隐私安全

数据上传到云端

可完全本地部署

响应速度

长文档时较慢

秒级响应

1

python –version

2

# 应显示 Python 3.10.x 或更高版本

1

# 创建虚拟环境（推荐）

2

python -m venv rag_env

3

4

# 激活虚拟环境

5

# Windows:

6

rag_env\Scripts\activate

7

# Mac/Linux:

8

source rag_env/bin/activate

9

10

# 安装核心依赖

11

pip install langchain langchain-community langchain-text-splitters

12

pip install chromadb sentence-transformers

13

pip install openai pypdf python-docx

14

pip install unstructured

1

from langchain_community.document_loaders import (

2

PyPDFLoader,

3

Docx2txtLoader,

4

TextLoader,

5

UnstructuredPowerPointLoader,

6

)

7

import os

8

9

def load_documents(folder_path: str):

10

“””加载文件夹中的所有文档“””

11

documents = []

12

for filename in os.listdir(folder_path):

13

filepath = os.path.join(folder_path, filename)

14

15

if filename.endswith(‘.pdf’):

16

loader = PyPDFLoader(filepath)

17

elif filename.endswith(‘.docx’):

18

loader = Docx2txtLoader(filepath)

19

elif filename.endswith(‘.txt’) or filename.endswith(‘.md’):

20

loader = TextLoader(filepath)

21

elif filename.endswith(‘.pptx’):

22

loader = UnstructuredPowerPointLoader(filepath)

23

else:

24

continue

25

26

docs = loader.load()

27

# 给每个文档添加来源标记

28

for doc in docs:

29

doc.metadata[‘source’] = filename

30

documents.extend(docs)

31

32

print(f”共加载 {len(documents)} 个文档片段“)

33

return documents

1

from langchain_text_splitters import RecursiveCharacterTextSplitter

2

3

def split_documents(documents):

4

“””将文档切分成适合检索的小块“””

5

splitter = RecursiveCharacterTextSplitter(

6

chunk_size=500, # 每块最大500字符

7

chunk_overlap=100, # 块之间重叠100字符

8

separators=[“\n\n”, “\n”, “。“, “！“, “？“, “；“, ” “]

9

)

10

chunks = splitter.split_documents(documents)

11

print(f”切分为 {len(chunks)} 个知识块“)

12

return chunks

1

from langchain_community.embeddings import HuggingFaceEmbeddings

2

from langchain_community.vectorstores import Chroma

3

4

def build_vector_store(chunks, persist_dir=”./chroma_db”):

5

“””将知识块向量化并存储“””

6

# 使用中文向量模型

7

embedding = HuggingFaceEmbeddings(

8

model_name=”BAAI/bge-small-zh-v1.5″

9

)

10

11

# 构建向量数据库

12

vectorstore = Chroma.from_documents(

13

documents=chunks,

14

embedding=embedding,

15

persist_directory=persist_dir

16

)

17

18

print(f”向量数据库已构建，共 {len(chunks)} 条记录“)

19

return vectorstore

1

from langchain_community.llms import OpenAI

2

from langchain.chains import RetrievalQA

3

from langchain.prompts import PromptTemplate

4

5

# RAG专用Prompt模板

6

RAG_PROMPT = PromptTemplate(

7

template=”””你是一个专业的知识库助手。请根据以下文档内容回答用户问题。

8

如果文档中没有相关信息，请明确说明「知识库中未找到相关信息」，不要编造。

9

回答时请标注信息来源。

10

11

相关文档内容：

12

{context}

13

14

用户问题：{question}

15

16

回答格式：

17

1. 直接回答问题

18

2. 标注来源：[文档名称]

19

“””

20

input_variables=[“context”, “question”]

21

)

22

23

def create_rag_chain(vectorstore, api_key: str):

24

“””创建RAG问答链“””

25

# 配置DeepSeek作为生成模型

26

llm = OpenAI(

27

model=”deepseek-chat”,

28

openai_api_key=api_key,

29

openai_api_base=”https://api.deepseek.com”,

30

temperature=0.1, # 低温度，减少幻觉

31

)

32

33

# 创建检索器（每次检索最相关的5个片段）

34

retriever = vectorstore.as_retriever(

35

search_kwargs={“k”: 5}

36

)

37

38

# 构建RAG链

39

qa_chain = RetrievalQA.from_chain_type(

40

llm=llm,

41

chain_type=”stuff”,

42

retriever=retriever,

43

chain_type_kwargs={“prompt”: RAG_PROMPT},

44

return_source_documents=True

45

)

46

return qa_chain

1

# 初始化RAG系统

2

api_key = “your-deepseek-api-key”

3

4

# 加载已有向量数据库（无需重新构建）

5

embedding = HuggingFaceEmbeddings(

6

model_name=”BAAI/bge-small-zh-v1.5″

7

)

8

vectorstore = Chroma(

9

persist_directory=”./chroma_db”,

10

embedding_function=embedding

11

)

12

13

# 创建问答链

14

qa_chain = create_rag_chain(vectorstore, api_key)

15

16

# 开始提问

17

question = “产品A的退货政策是什么？“

18

result = qa_chain({“query”: question})

19

20

# 输出结果

21

print(“回答：“, result[“result”])

22

print(“\n来源文档：“)

23

for doc in result[“source_documents”]:

24

print(f” – {doc.metadata[‘source’]} (相似度: {doc.metadata.get(‘score’, ‘N/A’)})”)

1

# ChromaDB支持混合检索

2

retriever = vectorstore.as_retriever(

3

search_type=”mmr”, # 最大边际相关性

4

search_kwargs={“k”: 5, “fetch_k”: 10}

5

)

1

from langchain.chains import ConversationalRetrievalChain

2

from langchain.memory import ConversationBufferMemory

3

4

memory = ConversationBufferMemory(

5

memory_key=”chat_history”,

6

return_messages=True

7

)

8

9

qa_chain = ConversationalRetrievalChain.from_llm(

10

llm=llm,

11

retriever=retriever,

12

memory=memory

13

)

14

15

# 多轮对话

16

result1 = qa_chain({“question”: “产品A的定价是多少？“})

17

result2 = qa_chain({“question”: “那产品B呢？“}) # AI知道你在问定价

1

def add_new_documents(vectorstore, new_folder: str):

2

“””增量添加新文档“””

3

# 加载新文档

4

new_docs = load_documents(new_folder)

5

# 切分

6

new_chunks = split_documents(new_docs)

7

# 增量添加到向量数据库

8

vectorstore.add_documents(new_chunks)

9

print(f”已新增 {len(new_chunks)} 个知识块“)

1

import streamlit as st

2

3

st.title(“AI私有知识库“)

4

st.caption(“基于RAG技术，支持PDF/Word/PPT等格式“)

5

6

# 用户输入

7

question = st.text_input(“请输入你的问题：“)

8

9

if st.button(“提问“) and question:

10

with st.spinner(“正在检索和生成回答…”):

11

result = qa_chain({“query”: question})

12

st.success(“回答生成完成！“)

13

st.write(“**回答：**”, result[“result”])

14

st.write(“**来源文档：**”)

15

for doc in result[“source_documents”]:

16

st.write(f” – {doc.metadata[‘source’]}”)

坑

问题描述

解决方案

坑1：切分太大

检索结果不精准，AI回答跑题

chunk_size设为300-500，chunk_overlap设为50-100

坑2：中文模型选错

用英文向量模型处理中文，效果很差

必须用中文向量模型（bge-small-zh-v1.5）

坑3：扫描件PDF

PDF是图片格式，无法提取文字

先用OCR工具转成可选中文字的PDF，或用unstructured的hi_res策略

坑4：检索结果太少

AI回答不完整，遗漏关键信息

增大k值到8-10，或使用MMR混合检索

坑5：回答太啰嗦

AI输出一大段，找不到重点

在Prompt中明确要求「回答不超过200字，分点列出」

坑6：首次加载慢

向量模型首次下载需要几分钟

首次运行后模型会缓存到本地，后续秒级加载