
世界模型一直被认为是通向通用人工智能的重要路线,它就像是AI在脑子里搭建了一个由外部环境组成的模拟器,Yann LeCun是这一方向极具影响力的推动者。
以前的世界模型有个硬伤:在实验室里用一堆数据训练好之后,它的参数便进入冻结状态,然后直接拿去用了,等于训练一次,部署终身。这就导致它一旦去到新环境,遇到没见过的状况,很容易就暴露出掉链子的问题。
模型是否适应现实世界,完全取决于训练数据是否覆盖所有情况,但现实世界远比训练数据复杂得多。
最近,纽约大学联合前Meta首席AI科学家LeCun创办的AI研究机构AMI,发布了JEPA系列最新成果——AdaJEPA。
这项工作最大的突破,并不是让世界模型工作得更精准,而是让世界模型第一次具备了部署后的持续学习能力。
它能够在执行任务过程中,根据真实环境,一边跑一边修正自己的认知,让世界模型越用越聪明。
过去主流世界模型的工作方式是这样的:
1、离线训练:先给模型看一堆历史数据,学习环境,总结规律,把复杂的图像、视频压缩成更容易计算的隐空间,并在这个隐空间里去推测未来会发生什么。
2、测试部署:到了实际用的时候,会配合一个叫MPC模型预测控制的算法。
什么是MPC?
把它理解成开车:你坐在驾驶位上向前看一段路,脑子里规划好接下来的一连串动作,比如打方向盘、踩油门、踩刹车。
但你不会闭着眼把这一串动作做完,而是在踩第一脚油门车子动了之后,去观察最新的路况,再重新看路、重新规划下一步怎么走!
这种方式在训练环境中效果不错,一旦物理环境发生变化,出现训练过程中没有见过的新场景,原本准确的世界模型就会失效,甚至变傻!
比如,训练时推的都是方形积木,现时中塞给它一个圆形的。这时候,冻结的模型在隐空间里以为我这么推,它就会往前走,但实际一操作,积木早滚到一边去了。
但MPC是连续往前推演的,只要模型预测出现一点偏差,后续误差便会不断累积放大,最终导致规划失败。
这也是当前大量世界模型真正落地时面临的核心问题:模型不会随着环境变化而成长。
而AdaJEPA ,就是为了解决这个问题!
人类不会依赖十几二十年前学到的知识,应付现在所有的问题,而是在行动过程中,不断根据现实反馈,来纠正判断。
AdaJEPA能让世界模型也具备这种能力。
MPC以前的流程是:规划 → 执行 → 再规划;
而AdaJEPA变成了:规划 → 执行 → 观测 → 更新 → 再规划。
虽然只增加了两个步骤,但意义完全不同。当模型完成一次动作后,会立即获得真实环境反馈。
系统不会忽略这些新信息,而是将它们作为新的学习样本,对世界模型进行一次轻量更新。
更新完成后,再进入下一轮规划;每一次行动都会让模型对当前环境理解得更加准确。
部署后的世界模型不再是一张离线地图,而是一位不断积累经验、不断提升技术的老司机。
实时更新,那算力吃得消吗?
会不会卡?模型会不会学杂了?甚至搞崩溃?
AdaJEPA每走一步并不需要重新训练整个神经网络,它最大的设计特点就是轻量。
整个系统仍建立在JEPA架构之上。JEPA并不像视频预测模型那样生成未来图像,而是在隐空间中预测未来状态,因此计算成本更低,也更加稳定。
为了不把算力卡死,也为了防止在线更新把原本学得挺好的参数给拉崩溃,LeCun团队还加入了两项限制:
首先,对目标特征使用Stop-Gradient,使目标表示保持稳定。
其次,在每次重新规划时,只更新模型最后几层参数,只动一小部分参数,而不是去重新训练全部网络。
这种设计既保证了学习能力,又解决了在线训练成本过高的问题。
AdaJEPA最大的创新,不在于提高模型容量,而是在部署阶段引入持续校准机制。
每完成一次动作,系统都会把最新获得的数据存入一个在线缓存。
缓存不会无限扩大,只保留最近一段时间的数据。
随后模型利用这些最新样本预测下一状态,并与真实环境进行比较。
预测越准确,说明模型越了解当前环境;预测偏差越大,系统便根据误差进行快速修正。
执行下一轮规划时所使用的世界模型,已经不是刚部署时的那个版本,而是经过当前环境不断调整后的新版本。
换句话说,世界模型开始具备了边工作边学习的能力!
为了验证这一机制是否真正有效,LeCun团队分别在PushObj和PointMaze两个经典世界模型测试平台进行了实验,重点是看模型面对训练过程中从未见过的新环境时的表现:
在PushObj任务中,当机器人面对全新的物体形状时,AdaJEPA几乎将任务成功率提升了一倍;在PointMaze任务中,同样取得了大幅提升。
面对那些在训练时根本没见过的物体形状或者迷宫布局,AdaJEPA展示出了极强的自适应能力,规划成功率大跨步提升。
更让人眼前一亮的是延迟问题:由于AdaJEPA每次只更新最后几层,而且只做1步梯度下降,实验算下来,每次重规划带来的额外延迟只有 0.01 到 0.03 秒。
也就是说,这种成功率提升并不是靠堆砌沉重的算力换来的,只需极小的额外成本,就能让世界模型在面对内部结构或外部环境改变时,仍能维持功能稳定运行的能力。
模型不仅利用已有经验进行预测,还不断通过与真实环境互动,修正自己的世界认知。
如果这一方向继续发展,世界模型将不仅是负责预测未来的模拟器,而是会演变成能持续积累经验、自主适应环境的智能体。
对于机器人、自动驾驶、智能制造以及未来具身智能而言,AI将不再依赖一次性的训练,而是能拥有比人类更强的持续学习和成长的能力。
从这个角度看,AdaJEPA的意义并不在于提升了几个百分点的新突破,而是在世界模型的路径上:从静态知识库走向动态智能体!
夜雨聆风