把 PDF、图片、音频、YouTube 和动态网页转成 AI 能用的 Markdown,变成一个你可以对话的私人知识库

过去一年，我陆陆续续看过几个想兼顾这两件事的项目，从 PrivateGPT 到 AnythingLLM，从 Open WebUI 到 NotebookLM。多数要么太大、要么太重、要么不开放。

这两天翻到一个新仓库，叫 GoldPan AI。作者首发只用了两天，一路把版本号推到 v1.3.0，定位写得很直接：A Privacy-First, Multimodal Data Extraction and Local RAG Pipeline。翻译过来就是，把你的本地数据，安全地变成一个你可以对话的私人知识库。

名字起得也形象——GoldPan，淘金盘。把散装的「砂砾数据」淘成「金子知识」。

它到底能干嘛

一句话：把 PDF、DOCX、图片、音频、YouTube、动态网页，一次性丢进去，自动变成你能问的本地知识库。

具体能吃下的格式，README 写得明明白白：

• • 文档类：PDF、DOCX、CSV、TXT、Markdown
• • 媒体类：JPG、PNG（图片）、MP3、WAV（音频）
• • 网页类：YouTube 链接（直接抓字幕，绕开 HTML 抓取）、GitHub Blob 链接（自动转 raw）、JS 重的动态页面（用 Playwright 做兜底）

我比较喜欢的是它对多模态的处理：图片和音频不是单独搞一套解析器，而是直接调用 Gemini 1.5 Flash 的多模态能力做抽取，统一吐成 Markdown。这一步省掉了你写一堆 if-else 去分发不同格式的力气。

几个让我愿意推荐的设计点

1. 多线程并行

README 里写它用 ThreadPoolExecutor 把切块、嵌入、调 API 三段并发跑，号称比串行快 10 倍。我没用过这么夸张的对照实验，但 I/O 密集型任务用线程池并发在工程上确实是对的——调 Gemini API 是典型 I/O 等待，多线程能把这段空转时间压下来。

2. 双写存储

这是我最看重的设计。它把向量存进 ChromaDB 的同时，把原始 Markdown 物化写到 KB/ 目录下。这个物化的 Markdown 目录意味着什么？

• • 你可以 git init 把整个知识库当代码管起来
• • 你可以用 Obsidian 直接打开做二次笔记
• • 你可以人眼校对 AI 抽出来的东西对不对
• • 哪天 GoldPan 项目跑路了，你的数据照样在

能做到这一步，GoldPan 算是把「用户主权」这四个字落到工程上了。

3. 隐私边界画得清楚

所有向量、文档都存在本机。唯一一次出门，是调用 Gemini API 拿提取和嵌入结果。比起 NotebookLM 上传文件那种「数据到我云里来」的模式，GoldPan 的边界更让人放心。

4. UI 是真的好看

作者把它叫 Dark Stone & Gold——深灰底 + 金色高亮的极简办公风。Next.js 14 + Tailwind 写的。比起某些本地 RAG 工具那种「命令行 + Gradio 灰按钮」的糙感，GoldPan 第一眼看上去不像是 hack 项目。

十分钟搭起来的体感

后端是 FastAPI，前端是 Next.js 14，启动过程很标准：

git clone https://github.com/ptai-eng/GoldPan.git
cd GoldPan/backend
python -m venv venv && source venv/bin/activate
pip install -r requirements.txt
cd ../frontend && npm install

然后开两个终端，一个起 uvicorn main:app --reload --port 8000，一个起 npm run dev。浏览器打开 localhost:3000，Settings 里把 Gemini API Key 填上，就能拖文件、贴链接、开聊。

依赖只有 11 个 Python 包：markitdown、trafilatura、playwright、fastapi、pydantic、python-dotenv、requests、beautifulsoup4、uvicorn、pytest、python-multipart。没塞 LangChain、没塞 LlamaIndex，光凭这一点就能看出来作者的工程克制。

跟同类项目的区别

它的目标用户画像很清晰：不想写代码、但又想自己掌控数据的知识工作者。

要不要现在就试

如果你符合下面任一情况：

• • 手头有大量 PDF/音频/视频/网页的混合素材
• • 把资料传 NotebookLM 或 ChatGPT 上传文件让你睡不着
• • 想看看本地 RAG 到底是怎么搭的

那 GoldPan 是个不错的入门样品。代码量小、依赖轻、好读、好改，正好适合拆开学一遍。

但如果你是企业级需求、或者要做团队协作知识库，建议直接看 AnythingLLM 或自己上 LangGraph——GoldPan 现阶段还是个个人玩具，别高估它的工程韧性。

最后小总结一下：GoldPan 解决的是「我想问 AI 我的本地文件，又不想让文件出本地」这一类具体场景。它不是万能药，但目标很清晰、做法也老实。