
编者按:本文整理自红杉资本播客《Training Data》对 Engram 两位联合创始人——丹·比德曼(Dan Biderman)和杰西·林(Jessy Lin)的深度对谈。这场对谈里,他们把一个看似玄乎、实则关乎每个人的问题讲透了:当 AI 已经足够聪明,下一步到底该往哪走?
先抛一个反直觉的判断。
今天的 AI,已经聪明得吓人了——它几乎无所不知、会写 Python、能解奥数题。那它的下一个瓶颈,是变得「更聪明」吗?
两位顶尖 AI 研究者的答案是:不是。
「让这些模型变得更有用的瓶颈,已经不是『原始智能』了——而是理解新的、不断变化的『上下文』。」
说人话就是:AI 已经够聪明了,但它不够「懂你」。 它不知道你公司是怎么运转的、不知道你团队的规矩、不知道你这个项目的来龙去脉。而这,恰恰是它最值钱、也最欠缺的能力。
说这话的,是 Engram 的两位创始人。他们正在做一件听起来很科幻的事——让 AI 像人一样,拥有真正的「记忆」,甚至像人一样「做梦」。 这场对谈里,他们抛出的判断一个比一个有意思:
「未来,每个人都会有一个只属于自己的模型。」 它和别人的不一样,和那些通用大模型也不一样。
「我们想造一个像『梦』一样的 AI。」 这听起来像疯话,但背后的科学逻辑,让人脊背发凉。
他们说,把「懂你」这件事训进模型,能让 token 消耗直接降到百分之一。
这篇文章,我把这两位研究者最硬核、也最有想象力的判断,一条条扒给你。
/01/ AI 已经够聪明了,缺的是「懂你」
对谈一开始,主持人就抛出了 Engram 官网上一句很挑衅的话:「我们不用『预训练』或『后训练』的眼光看世界。我们的模型,永远在学习。」这是什么意思?
林给了一个颠覆常识的回答。
「今天的模型,显然知道很多东西,聪明得不可思议。但我们认为,让它们变得更有用的瓶颈,已经不是『原始智能』了——而是理解新的、不断变化的『上下文』。」
什么叫「上下文」?就是那些只属于你、写不进任何教科书的东西:你正在做的一个新任务、你那份工作的特殊背景、你公司内部的运作方式……
这就引出了 Engram 想解决的核心问题。比德曼打了一个特别精妙的比方:
「对一个人来说,记笔记、贴便利贴,是很有价值的,我们永远不该丢掉。但第二天我们回去工作时,我们脑子里总有某种『记忆的痕迹』——一种关于『事情该怎么做』『该往哪看』的新直觉。这两样东西,应该结合起来。」
而现在 AI 的问题在哪?「现在的解决方案,更多是『外部记忆』。」 就是把信息一股脑塞进一个数据库、或者塞进对话框(上下文窗口),用的时候再去翻、去搜。
比德曼说这有两个大问题:「第一,很快,我们每个人每天产生的信息,就会达到千万级 token。光是把它存起来、搜索、重读,就会非常昂贵——而且对模型来说也非常混乱、非常困惑。」
说白了,这两位研究者点破了一个所有人都没太想明白的事:我们一直以为 AI 的尽头是「越来越聪明」,但真正卡住它的,是它记不住、也读不懂「专属于你的那些事」。 一个能解奥数题的 AI,可能连「你们公司开会爱用什么风格」都搞不清——而后者,才是它真正帮到你的关键。
/02/ AI 应该像「老员工」,而不是像「数据库」
那 Engram 到底想怎么解决这个问题?比德曼描述了一个让人眼前一亮的目标。
他们在和 Notion、微软、Harvey(一家 AI 法律公司)这些产品合作——这些地方,都是人们长期、大量工作的空间,沉淀了海量的上下文:写过的文档、和 AI 的对话、给过的反馈……
而 Engram 想做的,是让 AI 真正「理解」这些上下文,而不只是「读一遍」。
比德曼给了一个绝佳的对比:「不是在用的时候临时读一遍文件,而是像一个『在你公司干了好几年的老员工』那样,真正理解它。」
一个老员工懂什么?「哦,这些是公司当前的几个重点项目;这是我们做事的方式;我研究过怎么跑招聘流程……然后,我能干得和公司里任何人一样好。」
这就是「老员工」和「临时工」的区别:临时工每次都要现翻手册(外部记忆、读文件);而老员工,那些东西已经长在他脑子里了(内化进模型)。
那技术上怎么做到?两位创始人坦诚地讲了——他们用一种叫「适配器微调」(adapter fine-tuning)的方法,把这些「专属知识」,真正训练进模型的「权重」里(你可以理解为,真正写进 AI 的「大脑」,而不是让它拿张小抄)。
而这么做的好处,大到惊人。
/03/ 为什么能省 100 倍的 token?
这是整场对谈里,最有商业冲击力的一个判断。
主持人问:用了你们的方法,前后最大的区别是什么?是不是不用再发送那么多「上下文」给模型了?
比德曼的回答,给出了一个让所有烧 token 的公司都会心动的数字。
他先解释了逻辑:「你不用再去研究、再去重读各种东西,也不用写那些『巨无霸』级别的系统提示词(system prompt)。」 光是这一项,就能带来「两个数量级」的 token 消耗削减。
「不是 50% 那种级别——是能少用 100 倍的 token。」
为什么能差这么多?比德曼点破了关键:「因为很多东西——尤其是和『人、团队、组织、优先级』有关的东西——你根本没法在一份文档里找到,除非你把一切都严格地、事无巨细地记录下来。」
而这些「只可意会」的东西,恰恰是 AI 可以通过训练「隐性地学会」的。
他给了一个震撼的对比:「模型可以在 100 个 token 之内回答的问题,最顶尖的前沿模型,可能要消耗 10 万个 token 才能做到。」
100 个 token vs 10 万个 token。
说白了,这两位研究者揭示了一个反直觉的效率真相:当你把「懂你」这件事,真正训练进 AI 的「大脑」,而不是每次都让它现场读一大堆资料——它不仅答得更好,成本还能降到原来的百分之一。 这就像一个老员工和一个临时工的区别:你不用每次都给老员工讲一遍公司的全部背景,他张口就来;而临时工,你得把整摞手册甩给他,他还不一定看明白。
/04/ 他们想造一个会「做梦」的 AI
如果说前面还是「商业逻辑」,那接下来这一段,就进入了这场对谈最有想象力、也最让人着迷的部分——AI 的「梦」。
比德曼说了一句听起来像疯话的话:「我们想造一个像我们的『梦』一样的 AI。」
他自己都笑了:「这听起来有点像疯子干的事,梦里也没什么逻辑连贯性。」 但他接下来的解释,让这件事变得无比深刻:
「梦里到底发生了什么?我们看见各种东西,我们和自己对话,我们在『实验』——实验我们在这个世界里、在各种社交情境中,能做什么、不能做什么。」
这跟 AI 有什么关系?「所以对我们正在造的东西也一样:我们给模型一段时间,让它从『真实的互动』里抽身出来,去『实验』它的能力——它在一个环境里能做什么?它知道什么?它能多快处理那些极端、罕见的情况?——就像我们晚上做梦时,演练的那些事一样。」
这背后,其实是神经科学的一个深刻洞察:人类睡觉、做梦,不是在「休息」,而是大脑在「重新整理和巩固」白天的记忆。 Engram 想给 AI 的,正是这样一个「睡眠/做梦」的过程——让它在不直接干活的时候,回放、消化、内化白天学到的东西,第二天变得更强。
林补充了一个同样关键的点——这其实是从顶尖 AI 实验室「偷师」来的。她举例:假如 OpenAI 要在一周后赢一场奥数比赛,他们会怎么做?「是去编一本所有数学教材的目录、让人标注该读哪些章节吗?不,他们会去合成训练数据、启动一个训练任务,五六天后看结果。」
「任何训练过模型的人都清楚,有一种『更高级』的方式去整合知识和能力——而它,靠的正是『训练』这种魔法。」 Engram 想做的,就是把这种原本只属于顶尖实验室、用在数学和代码上的「魔法」,带给更多普通人和普通公司。
/05/ 人脑记忆是「有损」的,而这恰恰是智能的精髓
对谈中有一段特别有哲学深度的讨论,关于「记忆」到底是什么。
主持人问了一个尖锐的问题:大模型把海量的「事实」硬背进脑子里(比如「法国首都是巴黎」),这到底是优点还是缺点?有一派观点认为,这是坏事——我们更希望模型抽象地理解「国家」和「首都」这两个概念,而不是死记硬背一堆事实。
林的回答,颠覆了很多人对「记忆」的理解。
她指出,真正缺的不是「记不记」,而是「判断什么值得记」。 她举了个例子:很多学术测试,考的是模型能不能记住「某个非洲国家某座桥的长度」这种事——「但这不是你希望模型为之耗费『脑容量』的东西,也不是我们人类会为之耗费脑容量的东西。」
然后是那句精髓:「如果你看人类的记忆,它是『有损的』(lossy)。因为智能的一部分,恰恰就是『压缩』重要的东西,把它和不重要的东西分开。」
这句话值得每个人品味。我们总以为「记得越多越好」「记得越准越好」,但林指出——人脑会「遗忘」、会「模糊」,这不是缺陷,而是智能的核心功能。 一个把所有细节都完美记住、分不清主次的大脑,反而不智能。真正的智能,是知道什么该牢牢记住,什么该果断忘掉。
比德曼从神经科学的角度补充了这一点,讲得更透:「如果你想存一整个代码库,你用电脑就行了,甚至不需要 AI,它能毫无损耗地存下一切。但人脑,是在『信息容量有限』的约束下进化出来的——它形成的是那种『模糊的表征』,然后这些模糊的东西,反而能被抽象、能形成新的连接、能指导你第二天的行动。」
这两位研究者点破了一个反直觉的真相:计算机的「完美记忆」和人脑的「有损记忆」,是两种完全不同的东西。 计算机能一字不差地存下一切,但那只是「存储」;而人脑会遗忘、会模糊、会抓重点——正是这种「不完美」,才催生了真正的理解、联想和创造。 Engram 想给 AI 的,不是更大的硬盘,而是这种更像人脑的、「会抓重点」的记忆能力。
/06/ 为什么是「每人一个模型」,而不是「一个超级大模型」?
这一段,是 Engram 和当下主流 AI 叙事最根本的分歧。
主持人问了一个尖锐的问题:为什么这件事不该由那些「前沿大模型实验室」来做?你们两个怎么在巨头的夹缝里生存?
林给出了一个清晰的「世界观对立」:「我们的世界观,和前沿实验室不太一样。他们想要的,是一个越来越大、越来越聪明、能搞定各种领域的『单一模型』。而我们想象的,是一个『每个人都有自己的模型』的世界。」
为什么「每人一个模型」更合理?她给了两个让人信服的理由:
第一,很多东西是『私有的』。 「人们想学的很多东西,要么是私密的——永远不会出现在某个后训练数据集里;要么甚至是『冲突的』——我想做这件事的方式,和另一家公司、另一个人想做的方式,是不一样的。」
第二,真实世界是『模糊的』。 传统机器学习靠的是「干净的标注、明确的对错信号」。「但现实世界里发生的很多事,是非常模糊的,你很难说清『什么才算好』。」 而这些模糊的、因人而异的东西,恰恰是通用大模型最难搞定的。
比德曼把这个分歧讲得更直白。他指出,前沿实验室的「头号优先级」(P0)是冲向 AGI——造一个在代码和数学上超强的通用模型,然后用它去自动化整个经济。「那是大部分钱和人才的去向。」 记忆和持续学习,在那些巨头眼里,目前更多还是个「产品功能」。
「但我们认为,它值得拥有自己的、专门的关注。我们认为,这个领域需要发生『突破』。」 他还提到,就在大约一个月前的红杉活动上,DeepMind 的哈萨比斯(Demis)也明确说过:我们需要在这些课题上取得新的突破。
说白了,Engram 押的是一个和巨头完全不同的方向:当所有人都在造「一个无所不能的上帝模型」时,他们相信未来是「千千万万个懂你的小模型」——每个人、每个团队,都有一个真正了解自己、为自己量身定制的 AI。 这不是要和巨头硬碰硬,而是看到了通用大模型照顾不到的那片广阔天地。
写在最后
把 Engram 这场对谈听完,你会发现,两位创始人其实在回答一个我们这个时代最关键、却最少被认真讨论的问题:当 AI 已经足够聪明,接下来到底该往哪走?
主流的答案是「继续变大、变聪明,冲向 AGI」。而 Engram 给出的,是一个被很多人忽略的方向:让 AI 从「无所不知的陌生人」,变成「真正懂你的伙伴」。
这两条路的差别,远比看上去要深刻。前一条路追求的是「通用智能」——一个模型,服务所有人;后一条路追求的是「个性化智能」——千千万万个模型,每一个都只懂一个人或一个团队。
比德曼用了一个神经科学的比喻来收尾:在大脑里,「记忆」和「导航」用的是同一套神经回路——那些标记空间地标的细胞,也负责管理你的情景记忆。在他看来,Engram 想做的,就是成为每个人通往自己数据的那个「神经接口」——不是把你的文件原封不动地存下来,而是存下那个文件在你脑子里形成的「大脑状态」。
在这里,我尤其想把「人脑记忆是有损的,而这恰恰是优点」这个判断单独拎出来。在一个所有人都在追求「更大存储、更强算力、记住更多」的时代,这两位研究者反过来告诉我们:真正的智能,不在于「记住一切」,而在于「知道什么该忘」。 这不只是一个 AI 的技术判断,它几乎是一句人生箴言——我们每个人,不也是在信息爆炸里被淹没,以为「知道得越多越好」,却忘了智慧的本质,恰恰是从海量噪音里,抓住那几件真正重要的事吗?
也许这就是 Engram 这场对谈最珍贵的启示:AI 的未来,可能不在于把它造得越来越像一台「完美的计算机」,而在于把它造得越来越像一个「会抓重点、会遗忘、会做梦」的——人。 而当 AI 真正学会「懂你」的那一天,它带来的改变,可能比「又聪明了 10%」要深远得多。
至于那个「每人一个模型」的未来,一个真正了解你、记得你、为你量身定制的 AI,它到底会不会来,没人能打包票。但有一件事是确定的:当一个东西开始真正「懂你」的时候,你就再也回不去那个「对它来说只是个陌生人」的世界了。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~
谢谢你看我的文章,我们,下次再见。
- END -
分享、点赞、在看,3 连 3 连!
夜雨聆风