查资料不用翻文档,QAnything+Ollama+Qwen:7b 构建属于自己的本地知识库-夜雨聆风

查资料不用翻文档,QAnything+Ollama+Qwen:7b 构建属于自己的本地知识库

开头问大家一个问题，打开文件夹，找到手册，手册当中查询一个伺服的故障代码你需要多久？

AI 只需要3.43秒。

作为一个常需要到处查找资料和文档的技术人员来说，最头疼的是什么？

是各种产品线的各种文档；

是横跨二三十年的各种新旧产品的积累资料；

是还在更新的各种版本的文档；

最后发现现在电脑上光各种产品的资料文档，图片啥的都已经积累了快80G了。。。。每次遇到一个产品问题，需要先在电脑上找到存放该产品资料的文件夹，然后在文件夹中找到具体的文件是pdf也好，word，excel也罢，稍微复杂一点的问题就要看好几个文档，每个文档还要搜索，其实这个过程挺消耗时间的。

大家知道光伺服产品就有多少资料嘛。

也就是说，日常工作、学习中，查阅零散文档、整理资料、检索关键信息十分耗费时间，传统网盘、文件夹归档方式无法实现智能问答与精准检索。那么有没有更快捷的方法呢？

得益于这几年AI的快速发展，依托QAnything、Ollama与Qwen:7b模型搭建Windows本地知识库，就可实现文档离线智能解析、一键问答、精准检索，彻底告别翻找文档的低效模式。

好处：QAnything支持OpenAI和Ollama，使用Ollama无需申请OpenAI的API，直接调用本地模型，完全本地，完全免费！（花钱？花不了一点儿）

而且整套方案轻量化、易部署、零网络依赖，普通电脑也能流畅运行，这对于数据不能上云、对外，自己对技术资料有一定掌握程度的人来说实在是太友好了。

接下来我们来看下是如何实现的，首先说下硬件配置，小编使用的是Windows11企业版系统，11代的i7-850H，显卡是NV RTX A2000只有4G的显存，算是比较老的一套硬件了，不过显卡支持CUDA加速，所以跑个Qwen的7b还是比较流程的。

接下来看下部署的具体步骤：

首先需要确保预留20G以上磁盘空间，部署之前C盘还有58G的空间，部署后就只剩36.6G了，所以先把C盘空间腾出来吧。

1、安装Ollama本地模型运行框架

这个最简单，在https://ollama.com/ 下载Windows版本的安装包就可以了。

双击默认路径安装即可，全程无需额外配置。

之后在终端 / 命令行执行：ollama –version

看到返回版本号就代表已经安装成功了。

2、获取通义千问7B轻量化模型

这一步就看各人的电脑配置了，配置不同推荐使用的模型也可以不同，小编用家里的台式机试了下，如果单纯跑AI的话，使用RTX5060TI 16G 跑Qwen3.6-27B是完全没有问题的，也不会出现爆显存的情况。

只需要在命令提示符当中输入：ollama pull qwen:7b，会自动拉取通义千问7B轻量化模型。

下载完成后输入ollama run qwen:7b，随便输入点什么，有回复代表模型部署成功，并正常被调用了。

3、部署QAnything知识库系统

QAnything是网易的一个开源RAG知识库工具，主打多格式文档解析、智能检索与问答交互。网址：https://qanything.ai/

我们选择开源的免费部署版。

在Github上就可以直接下载，为了追求稳定性，我选择的是在 WSL（Ubuntu）中部署 QAnything。

1、环境准备，确认WSL正常

建议：

WSL2 ✅
Ubuntu 20.04 / 22.04 ✅

2、安装基础依赖

sudo apt update

sudo apt install -y git python3 python3-pip python3-venv build-essential curl

3、安装 Node.js

curl -fsSL https://deb.nodesource.com/setup_18.x | sudo -E bash –

sudo apt install -y nodejs

4、安装Docker

sudo apt install -y docker.io

sudo service docker start

5、拉取QAnything项目

git clone https://github.com/QAnything/QAnything.git

cd QAnything

之后，启动前端+后端

在终端当中输入docker ps看到这几个docker都启动成功了，那么就代表部署完成了。

接下来我们打开浏览器，在网页当中输入：

http://localhost:8777/qanything/#/home

如果看到上图界面，那么代表QAnything安装成功了,接下来我们在知识库当中新建一个知识库。

这里我们建了一个关于伺服的资料库。

点击上传文档，我们可以上传本地的文档到知识库，也可以添加网页链接来解析网页内容。

我们也可以建立自己的FAQ问题集，添加一些自己的经验文集。

之后，我们在Bots里创建一个机器人

这里可以看到，API选择了本地的ollama，模型为qwen：7b，总token设置为了8k

接下来就是检验成功的时候了，我们输入一个LXM18E伺服的故障报警代码：5439，文档中的内容如下：

QAnything的回答如下：

可以看到本地已经可以完整检索出文档当中的错误代码了，而且是在无网络的环境下执行的，耗时3.43秒，比自己打开文件夹，找到文档，搜索速度快多了。

甚至

你可以问他文档中功能块的含义，花费时间7.92s

这么一来，构建属于自己的知识库后，效率是不是提升杠杠的。我们看下GPU显存的占用率，也压在4G以内，不会爆显存，但是吃CPU和内存比较多。

QAnything+Ollama+Qwen:7b组合核心优点

1. 完全离线运行，数据安全可控

整套系统搭建完成后无需任何网络支持，所有文档数据、问答推理均在本地电脑完成，数据不会上传云端，彻底规避办公资料、学习资料泄露风险。相较于在线AI问答工具，无需担心隐私泄露、文件上传留存问题，适合处理涉密办公文档、个人私密学习资料。

2. 轻量化低配置，适配普通电脑

Qwen:7b模型经过优化压缩，搭配Ollama轻量化调度，对硬件要求极低，16G内存、普通集显Windows电脑即可流畅运行，无需高端显卡和专业算力设备。QAnything资源占用少，后台运行不卡顿电脑日常操作，兼顾实用性与兼容性。

3. 全格式解析，检索效率翻倍

传统文档检索仅支持关键词匹配，易出现漏检、错检问题。该组合依托大模型语义理解能力，可深度解析文档语义、逻辑框架，支持模糊提问、总结归纳、细节检索。无论是上千页手册、零散笔记，还是多表格数据文档，均可一键汇总解析，快速提炼核心信息，告别手动翻找、逐页阅读的低效模式。

4. 免费开源无门槛，使用零成本

Ollama、QAnything均为开源免费工具，Qwen:7b模型可免费本地部署，无会员充值、次数限制、广告弹窗等问题。一次搭建永久使用，可随时新增、删除、更新本地文档，自主迭代专属知识库，适配长期学习、办公资料管理需求。

5. 智能交互性强，适配多场景

不同于传统检索工具的机械反馈，该本地知识库可智能理解自然语言提问，支持文档总结、要点提取、问题解答、内容对比等功能。学生可收纳课程资料、论文素材，职场人可整理方案模板、行业规范、办公手册，全方位适配个人学习、职场办公、资料归档等各类场景。