碎片化记忆:在 AI agent 时代,被忽略的那个稀缺资源

👆 「关注」加「星标」，AI 工具实战内容第一时间看到！

一、那 30 秒，是怎么丢的

做 NoteLLM 之前，我们团队里的人都有一个共同的习惯：散步、骑行。

灵感几乎都是在这两种状态里冒出来的。坐在工位上盯屏幕的时候反而最钝，一旦人离开了”工作姿势”——脚开始动起来，眼睛看向远处，注意力散开——脑子里之前堆积的事就会自己开始排列组合，蹦出几个让你想停下来记一下的东西。

问题是，那个时候你打不了字。

骑行的时候手在车把上。散步的时候掏出手机、解锁、找笔记 App、点新建、开始打字——这一套动作做下来，那个想法一半已经溜走了，剩下一半也变形了。你最后写下的那行字，往往不是当时最锋利的那个版本。

更常见的情况是你根本没记。手机太麻烦，打字太慢，注意力一旦从”想法”切换到”操作设备”，那个状态就断了。你走完这段路，回到电脑前，模糊地记得”刚才好像想到一个不错的事”，但具体是什么，没了。

这种事一天能发生好几次。一个月就是几十次。一年下来，你脑子里其实有过的好想法，能被留下来的只是其中很小一部分。

我们做 NoteLLM，最初就是为了解决这件事。

二、AI agent 越强，”你的上下文”就越稀缺

但仅仅做一个语音笔记 App，不够。

我们团队每天都在用 Claude Code、Codex 这样的 AI agent 写代码、做产品。用得越久越能感觉到一件事：模型本身已经非常强了，强到大部分代码、大部分文档、大部分日常的分析任务，它都能做得不错。

真正卡住事情的，反而是另一头——agent 不知道你脑子里在想什么。

你给它一个任务，它能把任务做得很好。但它不知道你最近在思考的方向是什么，不知道你昨天散步时冒出来的那个判断，不知道你对某件事的真实态度。它只能从你这次对话里现学。每次都要现学。

每次重新解释一遍背景，每次把零散的想法手动粘贴过去，每次告诉它”我之前想过这个事”——这些动作堆起来，是一个非常隐蔽的成本。它不显眼，因为单次只花你一两分钟，但你一天可能做几十次。

而且这个成本还在涨。模型每升级一次，你就更愿意把更复杂的事情交给 agent，于是需要传递的”你的上下文”就更多。模型越强，搬运动作越荒谬。

我们意识到，下一阶段稀缺的不是 AI 能力，而是 “你自己的上下文”——那些散落在散步路上、骑行路上、半夜睡不着的时候、洗澡的时候冒出来的想法。这些东西在你脑子里，不在任何系统里，agent 读不到。

碎片化记忆，就是这个稀缺资源的另一个名字。

三、为什么是语音，为什么是 iPhone，为什么是 Action Button

定下”碎片化记忆”这个方向之后，剩下的设计决策几乎都是一个问题的不同答案：怎么把记录的摩擦力，压到接近零。

第一层摩擦是输入方式。打字这条路在散步、骑行场景下天然不成立。所以入口必须是语音——这是唯一不打断当下状态的方式。你不需要看屏幕，不需要停下来，不需要切换姿势，张嘴说就行。

但只有语音还不够。你还得先把 App 调起来。

调起 App 这件事看起来不算什么，但拆开看：解锁手机、找到那个图标、点开、等加载、点录音按钮——五步。每一步都在消耗那个想法。你做到第三步的时候，灵感已经走了一半。

iPhone 上有一个东西刚好能解决这件事：Action Button（动作按钮）。它是一个物理快捷键，按一下，可以直接调起任意应用做一件事。我们把 NoteLLM 绑在这个键上之后，”调起 App + 开始录音”就变成了一个动作——手伸进口袋按一下，开始说。

这是我们先做 iPhone 版的理由。不是因为 iPhone 用户多，是因为 Action Button 是目前消费电子里最接近”碎片化记忆”场景的物理入口。

四、本地还是云端：这不是技术问题，是心理问题

很多 App 都会做”本地处理 vs 云端处理”的开关，通常放在设置页面里，作为一个隐私选项。开了就一直用本地，关了就一直走云端。

我们做的不是这种。

我们的本地模式和云端模式，是每次录音都让你选一次的。这背后是一个很具体的产品判断：

人脑子里冒出来的想法，质感是不一样的。

有些是你愿意分享的、准备进 agent 工作流的、可能会变成一篇文章一段代码的——这些走云端，识别更准，可以被 AI 读到，可以被搜索。

有些不是。有些是你对一个人的真实判断，是一段你自己都还没想清楚的情绪，是一个半成品的、说出来会觉得幼稚的观点。这些东西你想说出来，但你不想它出现在任何云上的服务里，更不想它有可能被任何模型读到。

如果你强迫用户在”全部本地”和”全部云端”之间二选一，结果是大部分人会选”全部云端”图方便——然后那些私人的想法干脆不录了。这等于让产品反过来在筛选用户的想法，把不该过滤的也过滤掉了。

把模式选择放到每一次录音前，意味着我们承认这件事：你的想法本来就分两种，工具应该尊重这件事。

这是为什么本地和云端在 NoteLLM 里是平级的两个按钮，不是一个开关。

五、为什么做 MCP：让 agent 自己来读，不是你搬过去

记下来只解决了一半。剩下的一半是：怎么让你的 AI agent 用上这些想法。

我们最初考虑过几个方向：做一个网页版让用户去那里搜索、做导出功能让用户复制粘贴到 Cursor、做一个浏览器插件帮你贴过去。但越想越觉得这些都是在帮用户做”搬运”——本质上还是要用户自己当中间人。

去年 MCP 协议出来之后，思路变了。

MCP（Model Context Protocol）的好处在于，它让 AI agent 自己去读外部数据，而不是用户把数据喂给 agent。我们做的事情很简单：发布了一个 NoteLLM 的 MCP 插件，里面提供两个能力——list_recent_notes（列出最近的笔记）、search_notes（搜索笔记）。

装上之后，Claude Code 或者 Codex 在干活时如果觉得需要你的上下文，就会自己调用这两个工具，去你的笔记库里翻。你不需要复制，不需要粘贴，不需要”我之前想过这个事”地解释。

举个具体的场景：我前一天散步时录了三段对某个产品方向的判断。第二天我打开 Claude Code，让它帮我写一份产品方案。它会自己调用 search_notes，找到那三段，把我前一天的判断当作上下文写进方案里。

这中间没有任何手动搬运。人和 agent 之间那条搬运管道，第一次是自动的。

这件事单独看没什么，但放到日常工作里，它意味着你不再需要每次和 agent 重新建立默契——它直接读得到你最近在想什么。

六、为什么还要做硬件

iPhone + Action Button 已经把摩擦压得很低了。但我们已经决定要做一个专门的硬件。

不是为了好玩，也不是为了多一个 SKU。理由有两个，都很具体。

第一个,把摩擦从一步压到零。

Action Button 还需要你”按一下”。听起来不算什么，但当你正在思考某件事的时候，”伸手到口袋摸一下手机按一下键”这个动作，仍然会把你从思维里拽出半秒。

如果换成一个挂在身上的小硬件，只需要语音唤起——不需要按，不需要找，连”动作”都省了。它能做到的事情更接近”想到了，说出来”，中间没有任何设备介入感。

第二个，专用硬件不会被干扰。

这是更被低估的那一个。

你掏出手机的那一瞬间，你已经离开”散步状态”了。屏幕亮起来你会看到通知，看到微信红点，看到一条没回的消息。你想着”我先回一下”，然后那个想法没了，那段散步思考的状态也碎了。

手机是个多功能设备，它不可能不打断你。它的本职工作就是把你拉进各种社交、消息、内容流里。

专用硬件的好处不是它做了多么复杂的事，恰恰相反——它只做一件事。它没有通知，没有红点，没有把你拉进社交流里的诱惑，存在感低到让你几乎忘了它在身上。它保护的不是”想法”本身，是让想法发生的那个状态。

我们给它配了一块墨水屏——能查信息，能确认一条想法是不是录上了，能回头扫一眼最近记了什么。但墨水屏不会发光抢注意力，不会推送,不会让你像看手机一样不自觉地滑动十分钟。它是一个”可以查看，但不会主动来找你”的屏幕。这个取舍我们想了很久：既不能完全没屏幕（那样信任感不够），也不能给一块普通彩屏（那样它就会变成另一台手机）。墨水屏刚好踩在两者之间。

还有一个决定我们觉得值得说清楚：这条硬件路线我们没有自己造一套封闭体系，而是借用了一个已经存在的开源生态——xiaozhi-esp32^[1]。

xiaozhi-esp32 本身就是一个开源的 AI 硬件项目，社区里已经有一群人基于它做了各种形态的设备：徽章、挂件、桌面摆件、车把上的小盒子。设备端的固件、外壳、电路图、麦克风方案都是公开的，任何人都可以基于它定制自己的硬件——换个外形、改个按键、加个挂绳孔，全部可以。

我们做的事很简单：让 NoteLLM 的服务端兼容这个生态。任何 xiaozhi 兼容的设备，按一下、说一句，都能直接进入 NoteLLM 的笔记库，再通过 MCP 流到你的 AI agent 里。

这个选择的逻辑很直接：碎片化记忆的关键不在硬件本身，而在”想法 → 文本 → MCP → agent”这条管道。硬件只是入口的一种形态。与其重新造一套自己的硬件协议、自己的固件、自己的兼容标准，不如老老实实接进一个已经在跑的开源生态——你买现成的兼容设备也行，自己 DIY 一个也行，都能直接用 NoteLLM 这一套后端和 MCP 集成。

我们之后会发布自己的硬件版本，但那只是这个生态里的一个实现，不是唯一的实现。我们想接住的是生态，不是把 SKU 卖给你。

在硬件之前，我们还会先发一版 macOS 客户端——覆盖你坐在电脑前但不想打字的场景。整条产品线的目的是同一个：让你”想记”的那一刻和”被记下来”之间，没有任何东西。

七、碎片化记忆，长期会变成什么

把这条线拉长来看，NoteLLM 不是在做一个工具，是在做一种新的记忆形态。

过去的笔记 App，本质上是给你一个仓库——你写进去的东西，等你需要的时候自己回去翻。是被动的、人主导的。

碎片化记忆要做的事是另一种关系：你随手扔进去的东西，会自己被你的 AI agent 用起来。你不需要回头翻，不需要整理，不需要给它分类。它在你工作时自动出现在 agent 的上下文里，影响 agent 做的事。

这件事一旦成立，”我的 agent 知道我”就不再是一句口号，而是一个具体的、每天都在发生的状态。你和 agent 的关系会从”每次重新解释”变成”它本来就懂你最近在想什么”。

我们觉得这是接下来几年里 AI 工具最值得做的方向之一。模型的能力还会继续变强，但人和 agent 之间那条信息管道，目前几乎还没人认真做。NoteLLM 是我们在这件事上的第一步。

如果你也常常在散步时丢掉过一些好想法，欢迎去试一下：notellm.app^[2]

我们是 NoteLLM 的开发团队。这篇文章不是产品宣发，是把我们做这件事的真实思路写出来。有不同看法、有想法要补充，欢迎留言。

关于作者 | 林克森

我是 「林克森」，独立开发者，AI 产品化实践者。做过计算机视觉服务、浏览器扩展、地理空间数据标注平台。相信未来最重要的能力，是利用 AI 放大个人能力。

关注公众号，获取更多 AI 编程和产品开发的深度内容。

如果这篇文章对你有帮助，欢迎点赞、在看、转发，让更多人看到。

引用链接

[1] xiaozhi-esp32: https://github.com/78/xiaozhi-esp32
[2] notellm.app: https://notellm.app