ARTICLE · 1046665
我做了一个 Obsidian 插件,用强化学习知识库为例,想解决 AI 时代「看懂了,却没有真正学会」的问题

#Obsidian #知识管理 #RAG #agent #AI #LLM #Ollama
现在找程序员和算法工程师这类技术型工作,正在出现一个很有意思的问题。
一个项目可能已经被你用 codex 和 Claude code 做得相当完整:架构有了,代码写完了,README 也做的很漂亮。
但在领导或者面试官一旦继续追问:
为什么这样设计而不是那样?RAG 的检索链路是什么?为什么需要 rerank?你的 rerank 是怎么设计的?这个模块还有哪些替代方案?
很多人突然发现,自己其实没有想象中那么了解这个项目。
你做过的项目当然不是假的,但是 AI 工具把很多原本必须亲自经历的搜索、理解、推导、犯错和修正过程压缩掉了。这也正印证了科技圈的一个主流观点:AI 把程序员成长的梯子拿走了。
如果你也在使用AI 工具的过程中有同样的遭遇,或者处于不知道该怎么学习的焦虑中,不妨看完这篇文章,试试这个插件,我相信你会有所收获。
如图所示,是我编写强化学习系列文章的目录,图中演示的是让 VaultCoach 根据该目录(知识库)回答问题并给出准确来源信息的演示:

借助 Vault Coach,我们在学习某个新领域的知识,或者复习备考时就可以迅速根据关键词和语义匹配快速找到需要的内容。但是支持查询功能的插件已经烂大街了,我在此基础上加了一个考试模式,让 AI 来向用户提问并记录用户的回答得分,从而帮助用户快速掌握不同领域的知识。
这也是我开发 Vault Coach 插件的原因。该项目已经在 github 开源,对 RAG、agent 开发感兴趣的小伙伴可以点击文末的阅读原文跳转,欢迎 star、提 issue/PR 和共同维护!
AI 让获得答案越来越容易,但掌握知识并没有变容易
ChatGPT、Claude、Cursor、Codex 可以越来越快地回答问题。
以前学习一个陌生概念,我们可能需要查文档、翻书、读博客,几个小时后才能勉强建立理解。
现在只需要一句:
“给我解释一下 Transformer 注意力机制的原理。”
几十秒后就能得到一篇结构完整的答案和配套代码案例。
问题是,阅读一个正确答案,并不等于这个知识已经成为你的知识。
很多时候,我们和 AI 协同工作,产生的是一种 “我好像懂了” 的熟悉感。
真正到了面试、领导提问或者需要脱离 AI 独立解决问题时,知识却无法被主动调用出来。
Vault Coach 想做的,就是把 AI 从一个单纯的 Answer Machine,重新变成一个 Learning Coach。
第一步:让 AI 基于“你的知识库”回答,而不是直接给答案
Vault Coach 可以读取 Obsidian 中的 Markdown 笔记和文本型 PDF,并通过关键词、向量检索或者 Hybrid Retrieval 从你的知识库中检索内容,这一步用的是检索增强生成技术,也就是 RAG。
回答问题时,还可以继续查看对应的笔记标题和 PDF 页码引用。
也就是说,你问:
“DQN 为什么需要 Target Network?”
Vault Coach 首先去你现有的知识库里找相关内容,只把真正相关的上下文交给模型,再生成回答。
相较于直接将知识库接入 Codex 或者 Claude Code,Vault Coach 还有 2 个很实际的好处:安全和节省 Token。
如果知识库中已经有几百甚至几千篇笔记,没有必要每次提问都把大量无关内容发送给大模型。RAG 会先完成检索,再让模型阅读少量相关片段。
对于使用按 Token 计费的云端模型来说,这种方式通常也意味着更低的上下文开销。如果你的硬件性能足够,那么通过 Ollama 接入一个小规模的本地 LLM 能帮你实现低成本下的更高安全性。
下图展示了在 Vault Coach 的问答模式下,用户提问和结构化回答的过程:

此外,Vault Coach 还会默认展示每次回答所参考的文档,从而尽可能避免用户被 AI 幻觉所误导:

但 RAG 只是第一步。
因为真正的学习,不能永远停留在“我提问,AI 回答”。
第二步:反过来,让 AI 考你
这是我做 Vault Coach 时非常看重的一部分。
你可以选择整个知识库(Vault)、某个文件夹或者指定文件作为考试范围,然后让插件根据这些内容生成题目。
接下来不是 AI 回答,而是你回答,AI 评分。
完成后,Vault Coach 会给出评分和反馈,考试记录保存在本地,也可以导出成完整的 Markdown 学习记录。Vault Coach 还会根据你的学习状况和考试结果,定期提醒你复习薄弱的知识点。
这实际上把普通 RAG 翻转了过来:
• 普通 RAG:知识库 → AI → 答案 • Vault Coach:知识库 → AI 出题 → 人回答 → AI 反馈
如图所示,你可以随意指定某个目录作为考试范围:

考题的重点、数量和难度也可以由你指定:

如果你只能在看到答案之后说“对对对,我知道”,那它大概率还没有真正掌握。
真正可靠的掌握,应该是:
没有答案摆在面前,你依然能把它解释出来,并通过 AI 测试。
接下来我来生成 3 道关于强化学习基础知识的题目,都是我往期发布过的“强化学习 3 分钟系列”:


第三步:让现有知识库变得“看得见”
随着笔记越来越多,另一个问题也会出现:
你的知识库中文件越来越多,但你已经不知道这些知识之间是什么关系,更不知道哪些概念掌握得好、哪些地方存在缺口。
Obsidian 自带的文件夹和双链可以告诉我们“哪些笔记连在一起”,但真正学习时,我们更关心的是:
这些笔记里到底包含哪些概念?概念之间又是什么关系?
Vault Coach 因此加入了语义知识图谱和 Learning Map。它可以从已经存在的 Markdown 笔记和 PDF 中提取概念以及概念之间的关系,再把经过确认的知识关系可视化出来。
例如,一个已经积累很久的强化学习 Vault,原本可能只是几十篇甚至上百篇分散的笔记。经过处理后,可以在 Learning Map 中看到 DQN、TD Learning、Bootstrap、Target Network、Policy Gradient 等概念,以及它们之间已经确认的关系。
你不再只是“拥有很多笔记”,而是可以从另一个视角重新观察自己已经积累了怎样的知识结构。

同时,Vault Coach 不会简单地把 AI 推断出来的所有关系直接当成事实。你可以在 Concept Review 中查看关系对应的来源,然后亲自决定确认、拒绝或者修改它。

知识图谱再结合 Exam Mode 的结果,还可以进一步形成 Learning Map 和掌握度相关信息,让学习结果不再只是散落在聊天记录里的问答,而是可以聚焦到你的知识库中所包含的每一个具体的知识点。

我希望它最终形成一个循环:
记录知识 → 检索知识 → 回答问题 → 主动考试 → 暴露薄弱点 → 再次学习。
而不是继续制造更多在收藏夹积灰的内容。
我为什么把它叫 Vault Coach
我并不排斥 AI。
恰恰相反,我每天都大量使用 AI 写代码、查资料和理解新技术。
但随着我对 AI 和算法的理解不断加强,我越来越觉得,在 AI 时代真正稀缺的能力早已不再是快速获得答案,而是:
你是否还能把一个知识真正变成自己的东西并加以利用。
没有 ChatGPT 的年代,我们学习得慢,却不得不自己搜索、思考和记忆。
今天没有必要故意回到低效率时代。
更合理的方式,是让 AI 帮我们提高效率,同时重新把主动回忆、考试、解释、建立知识联系这些真正产生学习的过程加回来。
这就是 Vault Coach 想做的事情。
如果你也使用 Obsidian 做知识管理,并且发现自己的知识库越来越大、AI 用得越来越多,却越来越难判断自己究竟真正掌握了多少,欢迎试试这个项目,也欢迎提出 Issue、建议或者直接参与开发。
GitHub:Wanjin5508/vault-coach
Vault Coach 是一个开源的 Obsidian 学习助手,目前围绕本地优先知识库、RAG、Exam Mode、知识图谱、Learning Map 和掌握度追踪持续迭代。
