2025年底,Andrej Karpathy在一次技术访谈中分享了他用LLM管理知识的方式,迅速在开发者圈传开。到了2026年,几乎每个关注AI的技术人都讨论过"用AI管理知识"这件事。
核心理念很简单:知识管理不应依赖人工分类和标签,应交由语义引擎处理。人类的大脑擅长联想和创造,不擅长归档和检索。过去几十年,我们却在强迫自己当图书管理员——每条信息都得想"属于哪类""打什么标签""未来会怎么用到"。这种认知负担,正是大多数笔记系统最终废弃的根源。
Karpathy描述了一个具体场景:在学习新技术栈时,把阅读笔记、代码片段、踩坑记录都放在本地Markdown里。需要调用某个知识点时,不是靠记忆翻目录,也不是靠全文搜索碰运气,而是用LLM检索和理解。LLM在这个过程里不是"聊天机器人",而是理解你知识体系的深度阅读者。
这个方法引发广泛共鸣,有三个深层原因。
第一,解决了"记了等于没记"的困境。大多数人记笔记的终点是"存进去"而非"用起来"。存储很容易,检索却几乎不可能——除非你记得文件名、关键词或当时打的标签。任何依赖记忆的检索都不可靠。LLM用语义理解,你只需模糊描述想要什么,它就能从散落各处的笔记中找到最相关的部分。
第二,笔记从"文件柜"变"助手"。传统笔记是单向的:你写进去,它存起来,再无互动。LLM知识库是双向的:你写进去,它能理解、能关联、能为新问题提供基于旧知识的答案。不再是你从笔记里"找"信息,而是笔记里的信息主动"涌现"出来为你服务。
第三,天然适合学习型知识工作者。程序员、研究员、产品经理——任何需要持续学习的人,都面临"记住与遗忘"的矛盾。Karpathy给出务实答案:不依赖记忆,不依赖完美分类,让工具干工具该干的事。
从Reddit的r/ObsidianMD到国内的V2EX和即刻,无数人尝试将Obsidian接入LLM。但多数人止步于"装了几个插件,跑了个简单脚本,然后不知道怎么让它真正好用起来"。这篇文章的目标:把方法论变成可执行工作流,从工具选型到每日使用,每一步有明确指引。
Karpathy强调"存储层与智能层分离"。需要一个合格的存储层。在2026年的工具生态中,Obsidian是最优选择,原因有四。
[[注意力机制]],不仅是在引用另一篇笔记,还在为LLM建立知识图谱线索。语义搜索+双向链接,两者互补,效果倍增。对比Notion(云端优先、数据格式封闭,不适合自动化索引)、Logseq(块级结构在某些场景下比纯Markdown复杂)、Apple Notes(数据根本出不来)——Obsidian在数据主权和开放格式上的优势无可替代。
YAML front matter尤其重要——LLM索引时可读取标签、日期、来源做过滤检索:
title: "DeepSeek V4 推理优化技术解析"
date: 2026-06-01
tags: [LLM, 推理优化, 模型压缩]
source: https://arxiv.org/abs/xxxx
status: 精读
下载安装,创建Vault,推荐位置:~/Documents/knowledge-base/。
目录结构:
knowledge-base/ ├── inbox/ # 临时存放 ├── notes/ # 精读笔记 ├── projects/ # 项目笔记 ├── daily/ # 每日记录 ├── references/ # 参考资料 └── templates/ # 笔记模板
不需太严格。inbox的存在就是为了降低心理门槛——不确定放哪的笔记先丢进去,以后再说。分类是结果,不是前提。
安装三个插件:Templater、Dataview、Obsidian Git。设置笔记模板,含YAML front matter(标题、日期、标签、来源、状态),写笔记时自动填充,格式统一,后续LLM索引时能利用结构化信息。
Ollama是目前最成熟的本地LLM运行工具。一个命令搞定模型下载和API服务。下载安装后:
ollama pull qwen2.5:7b
约4.5GB,16GB内存的笔记本可流畅运行。配置更强(32GB+)可上14B或32B版本。模型在 http://localhost:11434 启动API,兼容OpenAI客户端接口格式,后续Python脚本直接通过OpenAI库连接,代码极其简洁。
传统关键词搜索只能匹配字面含义,语义搜索能理解"你想要什么"。Qdrant负责将笔记内容转成语义向量并建立索引。有Docker一条命令:
docker run -d -p 6333:6333 \
-v $(pwd)/qdrant_storage:/qdrant/storage \
qdrant/qdrant
没有Docker就从GitHub下载二进制直接运行。浏览器访问 http://localhost:6333/dashboard 确认启动。
遍历Obsidian仓库中的Markdown文件,按800字符切块,用 sentence-transformers 转成向量,存入Qdrant。跳过度量和daily目录。每次全量索引,简单可靠,个人知识库一般几秒完成。
核心三步,对应Karpathy强调的流程:
语义检索:用户问题转向量 → Qdrant中搜索最相关笔记块。不走关键词匹配,而是找语义空间中最接近的片段。这意味着"那篇讲注意力机制变体的文章"和"Transformer的几种改进方法"会被识别为同类问题。
上下文组装:匹配结果加上来源文件路径,拼成上下文。标注来源让LLM回答时可引用具体笔记。
LLM生成:通过Ollama的OpenAI兼容接口,让本地模型基于笔记内容生成回答。在有限上下文内生成,既降低幻觉风险,又限定在"总结已知信息"而非"自由生成"。
一键执行:
# run.sh
cd ~/knowledge-base-engine && python index.py && python ask.py "$@"
之后只需 ./run.sh "关于DeepSeek V4的MoE架构,有哪些笔记提到过"。
当你模糊描述想要的"那篇文章"就能被精准找到时,你会感受到知识管理方式已彻底改变。
工具搭好只是开始。很多人止步于"装好了工具,跑通了脚本,然后不知道下一步"。这里分享一套经实践验证的工作流。
记不住笔记,不是不想记,是每次都要同时想"怎么概括""放哪""打什么标签"。三层认知负担足以劝退。解法:所有笔记先丢inbox,分类标签都不急。每周花30分钟整理,做两件事——多用 [[]] 双链建立引用关系,写自己的思考和追问。
Karpathy特别强调,最有价值的部分不是摘录而是你的理解。"作者说X正确"谁都能记;"但我在实践中发现X在Y场景下不成立"才是笔记增值的地方。
传统做法是回忆文章标题或关键字→全文匹配→翻结果。这个流程的瓶颈是必须在检索时精确知道在找什么。LLM知识库的检索是:./run.sh "长序列里怎么用稀疏注意力降低计算量",语义检索自动命中,不管原始笔记用了什么术语。
而且经常有意外发现——系统从多篇笔记中提取相关内容组合出答案,让你看到不同时期写的两段笔记本质是同一件事的不同侧面。这种"跨笔记连接"是传统搜索不可能提供的。
做技术选型时,问知识库"A和B哪个更适合我的场景",LLM回顾所有相关笔记,找出你记录过的优缺点和测试结果。写文章时问"关于主题有哪些笔记",系统汇总核心信息,研究从零开始变成在已有积累上深化。
运行一段时间后可以写个 scan.py,定期分析孤岛笔记、推荐链接——让知识库和你的学习同步成长。
Karpathy的方法论之所以有力,不是因为它用了什么新技术,而是重新定义了知识管理:从"自己记住,自己分类,自己检索"到"让AI理解,让AI检索,让笔记互相关联"。这是认知方式的根本转变。
技术栈全开源零成本:
📦 Obsidian(存储层)→ 🔍 Qdrant(语义索引)→ 🤖 Ollama + Qwen(推理引擎)→ 🐍 Python(胶水代码)
数据永远留在本地,没有平台锁定,零月费。
核心原则三句:
搭建只需一个下午,真正发挥作用的是日常持续输入——每天写几段,每周整理一次inbox,每月回顾知识库结构。工具解决"怎么找","记什么""怎么思考"永远是你自己的事。
知识管理的工具在变,核心目标从未改变:减少认知负担,把精力花在思考和创造上。
如果你对文中工具还有疑问,可以查阅官方文档:Obsidian(obsidian.md)、Ollama(ollama.com)、Qdrant(qdrant.tech)。
公众号
如果觉得内容有帮助,欢迎点赞、在看、转发
关注 公众号名称,获取更多AI工程化实战
原创内容 · 转载请注明出处
夜雨聆风