本地RAG一条命令 让AI检索你的私有文档,大模型不是记忆力差,它只是没读过你的本地.

— 本地优先 RAG：文档不出本机即可被 AI 检索

同事突然问你半年前写的一份接口文档里的字段含义。你翻了 20 分钟还没找到，最后发现它躺在某个 Confluence 二级目录的最深处。

这种场景每天都在发生。大模型见多识广，但它没见过你本地的 RFC、设计稿、会议纪要和私有代码。RAG（检索增强生成）就是给大模型配一个“外置大脑”：先在本机文档里检索相关内容，再喂给模型生成答案。

但大多数企业落地 RAG 想到的是买向量数据库、搭召回服务、调 embedding 模型——太重了。最近一批 GitHub 新项目走的是另一条路：本地 RAGMCP 服务器，一条 npx 命令就能让 AI 助手直接检索你的本机文件。数据不出域、配置三分钟、效果立竿见影。

严格说，本地 RAG 不是新概念。区别在接入方式：过去它是一套要维护的“架构项目”，现在通过 MCP 变成了 AI 编程助手的一个“本地工具”。Claude Code、Cursor、Cline 只要读到你的本地索引，就能像查 Git 历史一样查你的文档。

过去一年，我见过太多团队走弯路：直接把内部文档往某个在线 AI 知识库一丢，过几天安全团队发来邮件——“请说明这些文档被哪些第三方处理过”。

本地 RAG 解决的不是“检索效果”，而是信任成本。它的核心优势就两条：

- 数据物理上不出本机：embedding、向量索引、查询全在本地完成； - 接入零负担：通过 MCP（Model Context Protocol）协议，直接接入 Claude Code、Cursor、Cline 等 AI 编程助手。

最近 GitHub 上冒出多个本地 RAGMCP 项目：mcp-local-rag（376★）、Knowledge RAG（260★）等，方向高度一致——把本地文档变成 AI 可检索的工具。这说明本地优先、隐私优先已成明确趋势。

不同的数据敏感度和预算，适合不同的方案。下面按“落地门槛”和“适用场景”做个快速对照：

从技术角度看，80% 的企业知识库场景用本地 RAG 就够了。微调太贵、Prompt 太健忘，只有云端 RAG 在需要多租户或协同编辑时才显出价值。

下面以 mcp-local-rag 为例，演示三分钟接入。

### 1) 安装并建立索引

不需要 Python，不需要 Docker，只要 Node 环境：

`./docs` 可以换成你的代码库根目录。首次运行会下载本地 embedding 模型，之后离线可用。

### 2) 配置到 Claude Code

在 Claude Code 的 MCP 配置（macOS 上通常是 `~/.claude/mcp.json`）里加一段：

重启 Claude Code。现在你可以直接问：

AI 会在本地索引里做语义+关键词混合检索，再把最相关的代码片段塞进上下文回答你。

### 3) 离线也能用

由于索引和模型都在本机，出差或内网环境照样可用：

这对金融、政务、军工这类涉密场景尤其友好。

### 4) 验证它真在工作

重启后先问一个“只有本地文档知道答案”的问题。比如你的代码库里有一个叫 `create_order` 的函数，你可以这样测：

如果 AI 能准确说出参数列表，甚至引用到函数签名附近的注释，就说明索引生效了。如果它开始“编造”参数，大概率是索引没建好，或者 Claude Code 没正确加载 MCP 服务器。此时先检查 `~/.claude/mcp.json` 的路径，再确认 `./rag-index` 目录下确实有索引文件。

如果你的文档量大、对准确率要求高，可以试试 Knowledge RAG。它同样是本地 MCP 方案，但多了两项能力：

- 混合检索：BM25 关键词 + 语义向量同时召回； - Cross-encoder 重排序：先粗排 50 个候选，再用精排模型取 Top 5。

安装也很简单（Python 3.11+）：

实测 1800+ 个文件 3 分钟内索引完成，检索延迟毫秒级。对内部代码规范和报错排查这类“关键词+语义”并重的场景，效果比纯向量召回好得多。

想把本地 RAG 落地到团队，记住三件事：

第一，数据不出域不等于数据不管理。 索引文件里仍然包含原始文本片段，要确保本机磁盘加密，敏感仓库不要全员可索引。

第二，分块策略决定召回质量。 不要按固定字数一刀切。代码建议按函数/类分块；文档建议按语义段落分块；混合内容用重叠 20% 的滑动窗口。chunk size 不是越大越好，512 tokens 左右是多数场景的起手值。

第三，embedding 模型别盲选。中文文档推荐 bge-large-zh-v1.5 或 gte-Qwen2，代码推荐 CodeBERT 或 all-MiniLM-L6-v2。embedding 选错，RAG 直接降一档。建议先用默认模型跑通，再拿 10 个真实问题做召回对比，胜出的模型才进生产。

把这三件事做对，本地 RAG 从“能跑”变成“能持续用”。它不会替代云端知识库，但会是你每天打开编辑器时最顺手的那个检索入口。

---

&gt； 把大模型接到本机文档上，不是炫技，而是把“搜得到”重新变成一件低成本的事。

金句先生   2026.08.31