夜雨聆风分享一个轻量开源的RAG框架，不用依赖外部API，本地就能跑，检索准确率比传统RAG高30%。
上周我在搭个人知识库的RAG，踩了整整两天的坑。
一开始想省成本，找免费的嵌入API用。翻了不下10个项目，要么要绑手机号，要么速率限制卡到根本没法用，要么文档写得东一块西一块，找个调用示例要翻三四个页面。
试了5个，3个申请完密钥调不通，1个每分钟只能发10次请求，最后一个终于能用了，结果返回的嵌入向量维度不对，又折腾了一个小时改代码。
说真的。就为了个能用的嵌入接口，我浪费了大半天时间。
直到在GitHub上刷到HKUDS/LightRAG，38k Star，我花了10分钟跑通Demo，当场把之前写的代码全删了。
它解决了我最痛的两个问题
我之前用的是传统的 chunk-based RAG，把文档切成一段一段存向量库，查询的时候匹配最相似的几段丢给大模型。
用过的都知道，这种方式的问题太明显了：
切chunk的时候很容易把上下文拆碎，检索到的内容缺头少尾 要依赖外部的嵌入API和大模型API，网络慢或者API挂了就全废 检索准确率全看chunk切得好不好，稍微复杂一点的查询就找不到相关内容
LightRAG直接用了另一种思路：图结构检索。
它不是把文档切成独立的块，而是先抽取出文档里的实体和关系，存成知识图谱。查询的时候，不是只匹配向量相似度，还会沿着图谱的关系找相关的内容，相当于把上下文自动给你拼起来了。
我用自己200MB的笔记库测了一下，同样的100个测试问题，之前的RAG只有62%的查询能返回相关结果，LightRAG直接到了87%，提升了快30%。
更爽的是，它完全支持本地运行，不需要任何外部API。
我用的是7B参数的本地嵌入模型+Qwen2-7B大模型，8GB显存的消费级显卡就能跑，查询响应平均200ms，跟调用外部API速度差不多，还完全不用考虑成本和速率限制。
实际用了一周，说点真实感受
我把它接在了我的笔记工具里，现在查资料直接输问题就行，不用再翻一堆文件夹找笔记。
说几个细节：
搭建真的简单，照着README走，10分钟就能跑通第一个Demo 支持增量更新，新增笔记不用重新构建整个知识库，加进去就行 内存占用控制得很好，200MB的笔记，构建完的图谱占了不到1GB空间 支持自定义提示词，你可以根据自己的场景调整返回结果的风格
当然也有缺点。目前文档还是有点粗糙，一些高级参数的说明很少，我要改召回阈值的时候，翻了半天文档没找到，最后还是去看的源码才搞明白怎么调。还有就是对中文的支持虽然够用，但分词效果不如专门的中文RAG框架好，要自己换个中文分词器。
但瑕不掩瑜，对于个人用户或者小团队做内部知识库来说，它完全够用了。
我现在已经把之前用的LangChain RAG全换成LightRAG了，省了每个月几十块的API费用，速度还更快。
如果你也在搭RAG应用，不想折腾各种API，也不想花太多钱，去试试这个。