别把资料一股脑丢给 AI：新手先搭一个能用的本地知识库

摘要：如果你想做个人知识库，不要停在“上传文件”这一步。下面这套最小方案，目标是让你 10 分钟内先跑通一个能问、能答、能引用资料的本地知识库。

很多文章讲 RAG，容易停在概念层面：什么是向量、什么是检索、为什么本地模型有价值。看完以后，你还是不知道第一步该点哪里、该装什么、什么状态算搭成了。

这篇我只做一件事：直接带你搭一个最小可用版本。工具就 3 个：Ollama + Open WebUI + 你的资料文件夹。

一、你今天要搭出来什么样

别把目标定成“做一个完整知识中台”。今天的终点很简单：

1. 1本机能打开 http://localhost:3000
2. 2页面里能看到一个你自己创建的知识库，比如“产品资料助手”
3. 3你上传了 10 份以内的资料
4. 4你能问出一个具体问题，并且答案明显来自你上传的资料

如果你做到了这 4 条，这个知识库就已经不是概念，而是一个能用的最小版本。

二、先准备 3 样东西

先别急着装一堆插件，只准备下面这些：

1. 1一组同主题资料例如产品文档、课程笔记、项目需求，控制在 5 到 10 份。第一次不要全量导入。
2. 2Ollama用来在本机拉起模型服务。官方 Windows 文档说明它会提供 http://localhost:11434 API。
3. 3Open WebUI用来做聊天界面、文档上传和 RAG 检索。官方 Quick Start 提供了 Docker 启动方式。

这里先记一个原则：一个知识库只服务一个问题域。如果你今天做“产品资料助手”，就不要把日报模板、旅游攻略、杂项截图一起丢进去。

三、按这 4 步搭起来

◆

第一步：先把本地模型跑通

先安装 Ollama，然后执行 3 条命令：

1. 1拉问答模型：ollama pull qwen3:8b
2. 2拉嵌入模型：ollama pull qwen3-embedding
3. 3测一下是否正常：ollama run qwen3:8b "用一句话解释RAG"

如果第三条能正常返回一句中文解释，说明模型服务已经起来了。这一步不要跳。很多人后面排错排半天，最后发现根本不是知识库问题，而是模型没跑通。

◆

第二步：把 Open WebUI 跑起来

如果你机器上已经有 Docker Desktop，直接执行这一条：

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://host.docker.internal:11434 -v open-webui:/app/backend/data --name open-webui ghcr.io/openwebui/open-webui:main

然后打开 http://localhost:3000，第一次进入时注册一个本地管理员账号。

这一步完成后，你看到的应该是一个聊天界面，而不是报错页。如果页面能打开，但模型列表是空的，优先检查两件事：

• ●ollama 有没有在本机运行
• ●你是不是把 OLLAMA_BASE_URL 写成了别的地址

◆

第三步：创建你的第一个知识库

进入 Open WebUI 后，按这个顺序做：

1. 1打开 Workspace
2. 2进入 Knowledge
3. 3新建一个知识库，名字就叫“产品资料助手”或“课程笔记助手”
4. 4上传你准备好的 5 到 10 份资料
5. 5如果界面要求选择嵌入模型，选 qwen3-embedding

第一次不要追求资料多，先追求命中准。我更建议你上传一组彼此相关的 PDF、Markdown 或文本文档，而不是先把整个下载文件夹都塞进去。

◆

第四步：先用 3 个问题验收

搭完以后不要马上问大而空的问题，先问这 3 类：

1. 1定位题“这份方案里，对外发布时间写的是哪一天？”
2. 2总结题“把这几份资料里重复出现的风险点整理成 3 条。”
3. 3对比题“文档 A 和文档 B 对功能边界的说法有什么不同？”

如果定位题答不准，先别改提示词，先查检索链路。Open WebUI 官方 RAG 文档特别提醒过：如果你接的是 Ollama，默认上下文长度可能只有 2048 tokens，至少要拉到 8192，否则检索到了也可能塞不进上下文。

四、最容易卡住的 4 个点

◆

1. 只拉了聊天模型，没拉嵌入模型

qwen3:8b 负责回答，qwen3-embedding 负责把资料变成可检索向量。两者不是一回事。

◆

2. 一开始就导入太多杂资料

知识库不是网盘。第一次就混几十种主题，回答通常会更飘。

◆

3. 页面能打开，但答案还是像没看资料

先查上下文长度，再查文档是否真的进入 Knowledge，而不是直接怀疑模型不够强。

◆

4. 问题太空

“帮我总结一下这些资料”这种问法太宽。先问定位题和对比题，更容易知道检索到底有没有命中。

五、适合谁，不适合谁

适合：

• ●手里已经有一批固定资料，想反复问答的人
• ●想先把本地知识库跑通，再慢慢升级的人
• ●对隐私和本地可控比较在意的人

不适合：

• ●想一步到位做企业级知识中台的人
• ●完全不想碰 Docker、模型和基础设置的人
• ●电脑配置很紧张，却一上来就想跑大模型和超大文档库的人

结尾

如果你今天照着做，最后至少应该拿到一个很具体的结果：本机能打开界面、能看到自己的知识库名字、能上传资料、能问出一条基于资料的答案。

这才叫“搭起来了”。

如果你也在做产品资料、课程笔记或项目文档类知识库，最想先解决的一个问题是什么：检索不准、回答太空，还是资料一多就变乱？