乐于分享
好东西不私藏

RAG-Anything:把企业所有文档「一网打尽」的多模态 RAG 框架

RAG-Anything:把企业所有文档「一网打尽」的多模态 RAG 框架

一句话定位:香港大学开源的 All-in-One RAG 框架,一套系统处理文本、图片、表格、公式等所有模态的企业文档,无需叠加多个专用工具。


一、它是什么?解决什么问题?

企业知识库里从来不只有纯文本——PDF 报告里嵌着图表,合同里有表格,技术文档里有公式。传统 RAG 系统大多只处理文本,遇到图片和表格就「瞎了」。

RAG-Anything 由香港大学 HKUDS 数据智能实验室开发,基于其此前开源的 LightRAG 构建,定位是「全能型 RAG 框架」——一个框架统一处理所有模态的文档内容,从 ingestion(导入)、parsing(解析)到 multimodal QA(多模态问答)全链路打通。

目标用户很明确:有大规模异构文档处理需求的企业(金融、法律、制造、研发),以及需要在学术文献中做图文联合检索的研究团队。核心价值是「降低多模态 RAG 的工程复杂度」——以前要拼好几个工具才能覆盖的场景,现在一套框架搞定。


二、它能做什么?

功能
说明
端到端多模态流水线
覆盖文档导入 → 解析 → 多模态问答全流程,开箱即用
通用文档格式支持
PDF、DOC/DOCX、PPT/PPTX、XLS/XLSX、JPG/PNG/TIFF/WebP、TXT/MD
专用模态处理器
图像 caption 生成、表格结构解析、LaTeX 公式识别,各自有独立处理通道
多模态知识图谱
自动提取实体并建图,跨模态建立语义关联(文字提到「图3」能真正定位到那张图)
多解析器兼容
支持 MinerU(默认)、Docling、PaddleOCR 三种解析后端,可切换
混合智能检索
向量相似度 + 图遍历双路召回,检索结果同时覆盖语义和相关关系
直接内容注入
可绕过文档解析,直接注入外部已预处理的内容列表,方便对接现有流水线
VLM 增强查询
文档含图像时自动调用视觉语言模型进行多模态分析,不依赖纯文本描述

三、它是如何做到的?

RAG-Anything 的技术架构是一条五阶段流水线,核心设计理念是「模态感知」——不同内容类型走不同的处理通道,但共享同一套知识图谱和检索索引。

文档解析 → 内容理解 → 多模态分析 → 知识图谱索引 → 模态感知检索

第一阶段:文档解析。集成 MinerU 做高保真结构提取,把文档自动拆成文本块、视觉元素、结构化表格、数学公式,同时保留原始层级关系(标题→段落→图表引用)。

第二阶段:内容理解。自动识别内容类型并路由到优化通道,文本和多模态内容并行处理,提升吞吐量。

第三阶段:多模态分析引擎。这是和 LightRAG 最大的区别——RAG-Anything 给每种模态配了专门的分析器:视觉模型生成图像描述、结构化解析器解读表格数据、数学表达式解析器处理 LaTeX。插件式架构,支持自定义模态处理器。

第四阶段:多模态知识图谱索引。把多模态元素转换成带语义标注的图谱实体,通过自动推理建立文本和多模态组件的语义连接,belongs_to关系链保留原始文档逻辑结构,关系权重根据语义 proximity 动态分配。

第五阶段:模态感知检索。向量相似度搜索 + 图遍历算法融合,根据查询的内容类型偏好自适应调整结果权重,检索时保留元素的语义和结构关系。

整个框架基于 LightRAG 构建,复用其图索引和检索基础设施,但在上方叠加了完整的三、第四、第五阶段多模态能力。


四、它能用到什么场景?

场景
案例描述
企业知识管理
金融机构将研报(含大量图表)批量入库,分析师提问时可同时检索文字结论和图表数据
法律合同审查
处理含表格和附录图片的合同文档,自动关联正文条款与附表数据
研发技术情报
学术 PDF 中的公式、图表、正文联合检索,研发人员用自然语言查到公式推导过程
制造质检报告
工厂质检报告含照片+数据表,管理系统可同时检索图像缺陷描述和数值超标记录
政府公文处理
政务文档的格式复杂、图片附件多,统一解析入库后支持跨模态政策问答

目前 GitHub 上有 19.5k Stars、2.2k Forks,社区活跃度较高,Discord 有专门的支持频道。香港大学团队在持续维护,最新版本 v1.2.10 发布于 2026 年 3 月。


五、为什么值得关注?

  1. 多模态 RAG 是企业落地的真实痛点。 绝大多数企业的知识库不是「纯文本语料」,而是混杂着扫描件、截图、表格的「文档泥潭」。RAG-Anything 是目前开源社区里少有的把这个问题系统性解决掉的框架,不是缝合方案,是统一架构。
  2. 基于 LightRAG 但超越 LightRAG。 LightRAG 解决了图索引 RAG 的基础设施问题,但只处理文本。RAG-Anything 在 LightRAG 的图上叠加多模态层,复用成熟底座,扩展成本低,社区可以平滑升级。
  3. 私有化部署友好。 MIT 协议、Python 技术栈、支持国产解析器(PaddleOCR),对需要在内网部署的企业来说门槛不高。技术栈是 Python + 可选 VLM,和国内企业主流的 FastAPI / Spring Boot 后端对接成本可控。
  4. vLLM + Qwen/DeepSeek 私有化推理栈可以无缝组合。 作为技术负责人,你可以把 RAG-Anything 当成「多模态文档处理层」,上层接入私有化 LLM 推理服务,整个栈都在自己机房里,满足数据合规要求。

六、基本信息卡

项目
信息
名称
RAG-Anything
类型
开源框架(MIT License)
GitHub Stars
19.5k
Forks
2.2k
主要语言
Python 100%
最新版本
v1.2.10(2026-03-24)
开源协议
MIT License
官网 / GitHub
https://github.com/HKUDS/RAG-Anything
技术报告
arXiv:2510.12323
背景
香港大学 HKUDS 数据智能实验室,基于 LightRAG 构建
相关项目
LightRAG(基础框架)、VideoRAG(视频RAG)、MiniRAG(极简RAG)

七、竞品分析

RAG-Anything 和主流 RAG 框架的核心差异在于多模态处理能力,这是 LightRAG、LlamaIndex、LangChain 都未系统性解决的盲区。

对比维度
RAG-Anything
LightRAG
LlamaIndex
LangChain
定位差异
多模态全栈 RAG
轻量图索引 RAG
文档检索优先 RAG
通用 LLM 应用编排
多模态支持
✅ 原生支持(图像/表格/公式)
❌ 仅文本
部分(需额外集成)
部分(需额外集成)
知识图谱
✅ 多模态图谱
✅ 文本图谱
✅ 可选 Property Graph
✅ 可选
解析器扩展
✅ MinerU/Docling/PaddleOCR
N/A
依赖外部解析库
依赖外部解析库
部署复杂度
中(Python+可选VLM)
低到中
中到高
社区 Stars
19.5k
21k+
38k+
105k+

定位差异小结:LightRAG 是 RAG-Anything 的文本基础,LlamaIndex 强在文档检索但不擅长多模态,LangChain 是通用编排框架但 RAG 能力需要大量定制。RAG-Anything 的差异化很清晰——要做就做全模态,不妥协

与竞品相比,RAG-Anything 的核心优势是开箱即用的多模态 RAG 全链路能力;主要短板是框架较新(2025年才开源),生产环境案例不如 LlamaIndex/LangChain 丰富,VLM 依赖会带来额外的推理成本。