

你以为Sora们已经"理解"了世界?李飞飞说:它们只是在做梦
2026年盛夏,一条从斯坦福现场流出的帖子在硅谷华人创业圈和全球AI社区掀起讨论。有人拍下李飞飞讲话的竖屏视频,配上三行极简的笔记,也让那套三层分类迅速进入公众视野。

▲ @PaulFangBayArea 在斯坦福现场听完李飞飞演讲后发布的转述帖,概括了三层结构
那三行笔记,翻译过来大致是这样的:渲染,世界看起来像什么?模拟,世界如何运转?规划,接下来该发生什么?路径从左到右,最终通向理解、预测,并在物理世界中行动。
就这么几句话,把过去两年AI行业最热闹、最烧钱、最让人眼花缭乱的赛道,一刀切成了三层,然后冷冷地告诉你:绝大多数玩家,还挤在第一层。
一个词被用烂了
要理解这刀为什么切得准,先得看清一个事实:"世界模型"这个词,已经被用到几乎失去意义了。
一个能生成60秒电影级画面的视频AI,叫世界模型。一个能让你用键盘"玩"的像素游戏生成器,叫世界模型。一个忠实模拟流体力学的物理引擎,也叫世界模型。一个能让机械臂抓杯子的具身智能系统,还是叫世界模型。
这就好比,你管出租车叫"交通工具",管波音787叫"交通工具",管SpaceX星舰也叫"交通工具"。技术上没错,但如果你拿着出租车的票价去买星舰的座位,那就是灾难性的误解。
李飞飞显然受够了这种混乱

▲ 2026年6月3日,李飞飞亲自发布功能分类法长文,开篇引用维特根斯坦
2026年6月3日,她和自己创办的World Labs同步放出一篇万字长文,标题叫《世界模型的功能分类法》(A Functional Taxonomy of World Models)。副标题更狠:渲染器、模拟器、规划器,以及连接它们的环。

▲ 李飞飞发布的分类法长文页首,标题与三类功能一并呈现
她为行业画了一张地图而这张地图上,大部分热钱和头条,都挤在一个角落里。
第一层:渲染器,"漂亮的梦境制造机"
先说大家最熟悉的
渲染器的工作是:让世界"看起来"对 输出是像素,给人眼看的画面文字生成视频、图片生成视频、实时交互的"下一帧预测",统统归在这一层。Google的Genie 3、各种Sora类产品、以及一大批让你"走进AI生成世界"的demo,本质上都是极其精致的渲染器。

▲ DeepMind的Genie 3:交互式像素世界的天花板,但在李飞飞的框架里仍属于"渲染器"
李飞飞在长文里用了一个极其毒辣的比喻:想象一段AI生成的航拍城市视频,从空中看完美无缺,高楼林立、车流不息、光影绝美。但如果你真的把镜头拉到地面,试图开车穿过那些街道,建筑就会塌掉。
因为那些建筑从来不存在像素存在,结构不存在
一位叫@builderyang的博主概括了这种感受:

▲ "几乎所有你玩过的'可玩世界模型',都只是渲染器,对下一帧的极好猜测"
"缺少模拟器,世界难以保持一致;缺少规划器,角色也就缺乏意图。这就是它们像梦而不像游戏的全部原因。 游戏活在模拟和规划两个格子里,而这两个格子,在整个领域几乎还是空的。"
这段话把锋芒指向了行业对前沿的判断:那片天花板极高的区域,或许仍属于入门层。
第二层:模拟器,被冷落的"枢纽"
如果渲染器回答的是"世界看起来像什么",那么模拟器追问的是:"世界到底是怎样的,它会如何变化?"
模拟器输出的是状态,也就是在几何、物理、动力学意义上忠实的世界表示。瓶子放在桌子边缘会不会掉?水倒出来会往哪流?机械臂推一下箱子,箱子会滑多远、会不会撞倒旁边的东西?
这些问题,靠猜下一帧是猜不出来的
李飞飞在Bloomberg Tech的口播里说了一句被反复引用的话:"模拟器是枢纽。模拟器可以变成渲染器,也可以变成规划器。这一层是解锁空间智能的关键路径"

▲ a16z放出的Bloomberg Tech片段:李飞飞明确将模拟器定位为三层中的"linchpin"(枢纽)
为什么说它是枢纽?逻辑极其优雅,如果一个模型理解"杯子如何搁在桌上",那它原则上应该能:从任意角度渲染这个杯子(渲染能力),模拟杯子被推后的后果(模拟能力),以及规划手如何拿起它(规划能力)。三层是同一种理解的三种投影 掌握了中间这层,上下都能打通
但这恰恰是最不性感、最难融资、最少上头条的一层。
原因很现实:带精确几何与物理标注的3D数据,远远少于互联网上唾手可得的视频和图片。训练一个视频渲染器,YouTube就是你的数据集;训练一个物理模拟器?你得一砖一瓦地搭建带碰撞体、带材质属性、带动力学参数的3D世界。数据供给的不对称,决定了产业热度的不对称。
第三层:规划器,最诱人,也最早期
规划器的输出最简单也最可怕:行动 给定你看到的东西和你想达到的目标,告诉你,下一步该做什么。
如果说渲染是"从条件到画面",规划就是它的逆过程,"从画面到动作"。这一层主要服务于机器本身自动驾驶、仓储机器人、手术辅助系统,都在等这一层成熟。

▲ 一条高赞回复精准概括了从渲染到规划的跃迁本质
一条来自@UnderKong的回复把这个跃迁写得极为精辟:"关键转变是从预测像素到预测后果。对机器人来说,有用的世界模型既要回答'会发生什么',也要回答'哪个动作能把世界推向我想要的方向'。"
但李飞飞自己也很冷静长文坦言:近两年机器人演示在视频里很漂亮,可几乎都困在强约束实验室、窄物体集与短时程任务上。从实验室到真实厨房、仓库、手术室,那个鸿沟,比多数demo让你以为的大得多。
谁在造桥?
概念讲完了,回到产业谁在往模拟这个"空白格"里填东西?
World Labs自己的答案是Marble,2025年11月发布的多模态世界模型产品。

▲ Marble:从文本、图像、视频甚至粗略3D布局,生成可探索、可编辑、可导出的3D世界
它的关键差异落在输出上:除了像素,还有碰撞网格。生成出来的桌子看起来像桌子,在物理引擎里也有可计算的结构,你可以往上面放东西、推它、让它倒。这正是从渲染跨向模拟的第一座桥

▲ NVIDIA开发者博客展示了Marble→Isaac Sim的机器人训练管线,场景搭建时间从"周"缩短到"小时"
NVIDIA迅速跟进,把Marble接入自家的Isaac Sim机器人仿真平台。工程师用文字描述或图片就能快速生成多样化的训练场景,省下数周手工搭建的时间。对机器人而言,世界模型由此提供了一个可以犯错、可以试错、可以学习的仿真世界。
一位工业控制领域的从业者在评论区写道:

▲ "系统自主做得越多,越要核验它决定了什么、人类何时接管"
"渲染拿走了头条,但更大的跃迁在从模拟到规划。系统自主做得越多,你越要核验它到底决定了什么,以及人类何时该接管。 这和我在控制室里遵循的原则一模一样。"
这番话来自一位已经在工业场景里摸爬滚打的从业者,带着控制室经验形成的安全底线。
暗流涌动的路线之争
当然,并非所有人都买账
学术圈内部正在发生一场安静但尖锐的分歧:模拟器的"状态"到底该怎么表示?
一派认为,应该走显式路线,Gaussian splats做外观、经典物理引擎做碰撞,一切可检查、可调试。这是World Labs目前的方向。
另一派信奉"苦涩的教训"(bitter lesson),希望让模型自己从海量数据中学出潜在的物理表征,摆脱人类设计的物理规则。也许它学到的"物理"比牛顿方程更适合机器人。

▲ "模拟器把'生成看起来合理的东西'变成了'推理接下来发生什么',这是视觉玩具和智能层的区别"
这场路线之争仍未有定论李飞飞自己也在长文里把它列为"未解的中心问题"之一。Marble同时输出splats(偏好看)和碰撞网格(偏好算),本身就是一种产品层面的调和。但最终答案是什么,没人知道
为什么这张地图此刻如此重要
回到最初的问题:为什么一篇分类法长文能引发讨论?
因为它给了所有人一把尺子
从今以后,每当有公司发布会上宣称自己做出了"世界模型",你可以拿出这把尺子量一量:它交付的到底是像素、状态,还是行动? 是在画梦,是在建世界,还是在让机器执行任务?
Sora们给了我们会动的画Genie 3给了我们可以走进去的画。但画终究是画
李飞飞指着画背后那片空白说:游戏的下一幕,还没有开始。
模拟器和规划器,那两个几乎还是空的格子,才是未来十年AI最深、最难、也最值钱的战场。谁先把它们填满,谁就拿到了从数字幻觉通往物理现实的钥匙。
而这把钥匙的另一个名字,叫空间智能。

夜雨聆风