

视频生成公司说自己在做世界模型机器人团队说自己在做世界模型数字孪生平台、自动驾驶仿真、甚至那些能即兴编小游戏的语言模型,所有人都在抢同一个词,但没有两家公司说的是同一件事。
这是2026年AI行业最大的一场语义通胀。
而李飞飞,终于忍不了了
6月初,这位斯坦福教授、World Labs创始人兼CEO,以维特根斯坦的名句开篇,发布了一篇措辞冷静却刀刀见骨的万字长文,《A Functional Taxonomy of World Models》。核心主张只有一句:别再用同一个词,说三件完全不同的事了。

▲ 李飞飞发布长文入口,开篇引用维特根斯坦:“世界是一切发生的事情。”紧接着写下全文主旨,The world is not made of words.
一把刀,切三刀:渲染、模拟、规划
李飞飞的分类法,精准得像手术刀
她把所有自称“世界模型”的系统,按输出物和服务对象切成三层,
第一层:渲染器(Renderer) 输出是给人眼看的像素文生视频、交互式帧生成、所有让你感叹“太真了”的东西,都在这一层。它回答的问题是:世界看起来像什么? 质量标准只有一个,好不好看航拍城市可以完美无瑕,但你一旦试图开车穿进街道,建筑结构就会像纸片一样散架。
第二层:模拟器(Simulator) 输出是状态,几何正确的、物理忠实的世界表示,人和程序都能在上面计算与交互。它回答的问题是:世界究竟如何运转? 瓶子推一下会怎么动?水倒出去会怎么流?回答这些问题需要理解空间关系、因果和时间演化,视觉上的水流效果远远不够。
第三层:规划器(Planner) 输出是动作给定观测与目标,告诉机器下一步该做什么。它回答的问题是:接下来怎么办? 视觉,语言,动作(VLA)模型、机器人基础模型,都在试图攻克这一层。
三层的消费者也截然不同:渲染器服务人的眼睛;规划器服务机器的手脚;而模拟器,它两边都服务,正因如此,它是整个结构的枢纽。

▲ World Labs官网博文首图:一台蒸汽朋克机械装置同时呈现山水地貌与管道齿轮,世界被建模、被机制化。
最不性感的那一层,恰恰最致命
这套分类法用清晰的边界重排了行业注意力的优先级。
现实是残酷的:渲染层拿走了最多的公共讨论和消费市场心智,人人都能看懂“更真、更美、更长”的视频。规划层拿走了最多的科幻想象和融资故事,“未来机器人”四个字就够点燃一场路演。而模拟层呢?它夹在中间,既不够刷屏,又不够科幻,像一个总被忽略的中间件工程师。
但李飞飞在Bloomberg Tech的采访中说得毫不含糊:
“模拟器可以变成渲染器,模拟器也可以变成规划器。但反过来不行。这一层,是解锁空间智能的关键路径。”

▲ a16z剪辑李飞飞在Bloomberg Tech上的发言:“世界模型”已被用滥,空间智能语境下有三种叫法,模拟器是三者的linchpin。
这话翻译成产业语言就是:如果你只会渲染,天花板是视觉可信度;如果你只会规划,瓶颈是没有足够多的安全试错场地;但如果你掌握了模拟,你既能向上投影为像素给人看,又能向下推导后果给机器用。
一个让人清醒的类比:自动驾驶行业早就想明白了这件事。成功的高等级自动驾驶系统,无一不同时依赖真实路采和海量仿真小时,因为你不可能为了训练AI去真的撞一百万次车。李飞飞甚至在演讲中把汽车称为“最简单的一类机器人”。言下之意是:连最简单的机器人都离不开仿真,更复杂的呢?
从论文到产品:R2S2R,让世界训练机器人
如果taxonomy长文是理论骨架,那么7月底发布的R2S2R(Real-to-Sim-to-Real)就是第一块长在骨架上的肌肉。
背景是:SceniX团队加入World Labs。李飞飞在帖子里写道,“空间智能涵盖感知与生成虚拟和物理世界,也包括与世界交互。”

▲ 李飞飞发帖:分享“构建训练机器人的世界”早期结果,将taxonomy中的模拟器枢纽落地为工程闭环。
R2S2R的逻辑极其清晰:先把真实世界“搬进”仿真(real-to-sim) ,重建观测与动力学对齐的交互世界;再在仿真里大规模训练与评估策略(sim) ,主动搜索失败模式、筛选检查点;最后回到真机(sim-to-real)
最令人震动的结论是:部分策略可以在零真实训练数据的条件下,直接从对齐仿真迁移到真机,并在多种接触丰富、可变形物体任务上长时间自主运行。

▲ 《Building Worlds That Train Robots》博文:R2S2R被定义为可扩展的机器人策略训练与评估引擎。
李飞飞在续帖中写道:“在我们的taxonomy中,我们称模拟器为枢纽,智能体在其中行动、学习与被评估的场所。R2S2R引擎能让机器人研发摆脱缓慢、昂贵、被硬件锁死的迭代,走向更可扩展、更低成本的训练与评估。”

▲ taxonomy中的理论判断,在R2S2R中得到实证:模拟器已经成为可复用的工程闭环。
这篇产品新闻也给出了“模拟器为何是linchpin”的后续实证。
争论的刀锋:高斯溅射,还是端到端学习?
任何足够清晰的分类,都会招来足够尖锐的反驳。
李飞飞的taxonomy刚发出来,学术界的刀就亮了。
来自CMU的Mingkai Deng在评论区直接开打:“我们同意世界模型应该作为支持决策的模拟器,渲染漂亮影像远远不够。我们的分歧在于,世界状态应该如何表示。”

▲ 学术路线之争:高斯溅射+物理引擎(program-as-simulator),还是端到端学习表示(model-as-simulator)?
分歧指向一场深层的哲学分裂:
World Labs的Marble走的是“程序即模拟器” 路线,用高斯溅射做视觉表示,输出碰撞网格给物理引擎,显式三维结构加经典物理。优势是可解释、可插入已有工具链;代价是三维资产标注极其昂贵
而另一派坚持“模型即模拟器” ,让神经网络端到端学习世界的表示与动力学,不预设几何结构。他们引用机器学习界那条著名的“苦涩的教训”(bitter lesson):长远来看,大规模学习总会击败人工设计的结构。
有意思的是,这场争论恰恰证明了taxonomy的价值。双方同意了终点(模拟器是核心),只是在路径上打了起来。而在李飞飞提出这套分类之前,大家连“我们到底在争什么”都说不清楚。
一个词背后的八年暗战
“世界模型”这个词早于2025年的营销热潮。
2018年,David Ha和Jürgen Schmidhuber发表了那篇经典的World Models,用生成式循环网络学习游戏环境的压缩时空表示,然后在模型自己的“梦境”里训练策略。那篇论文的互动页面用了一个至今读来仍令人兴奋的标题:“智能体能否在自己的梦中学习?”

▲ 2018年的奠基之作。八年后,李飞飞的taxonomy试图厘清这个词在产业膨胀后的语义灾难。
与此同时,Yann LeCun走了另一条路,他的联合嵌入预测架构(JEPA)主张在抽象表示空间预测世界变化,避免把算力耗在重建每一个像素上。一派在建可走入的三维场景,一派在建可推理的隐空间动力学,同一个“世界模型”标签下,两种完全不同的信仰。
李飞飞长文里那句“The world is not made of words”,同时在提醒整个行业:过去近十年AI的主线是预测下一个词;语言的边界无法涵盖世界光如何落在表面、未拍摄过的视角花园会如何呈现、物体受力后如何服从物理定律,这些跑在另一套基底上。
统一世界模型:逻辑终点,而非已交付产品
在长文的最后,李飞飞画了一张远景图:统一世界模型,一个基础模型,可以按下游需要在“照片级渲染 / 物理级结构 / 行动序列规划”之间切换模态。
但她也诚实地列出了张力:渲染侧互联网视频数据近乎无穷,而模拟与规划侧的三维资产和机器人演示严重短缺,差好几个数量级。优化视觉美感可能牺牲机器人需要的精度。生成式几何可能“看起来对”,塞进物理引擎后却荒谬至极。
社区里有人把关键跃迁概括得很到位:从预测像素到预测后果。

▲ 评论区的一句金句:对机器人有用的世界模型,不仅回答“会发生什么”,还要回答“哪个动作把世界推向目标方向”。
也有人指出了一个容易被忽视的风险:系统越自主,越要核验它决定了什么,人类何时接管。

▲ 渲染拿走头条,关键跃迁发生在模拟到规划之间;自主性上升时,谁来守住最后的开关?
一把尺子,量出谁在裸泳
李飞飞这套taxonomy的影响可能越过学术界,直接抵达融资桌上。
它提供了一套可检查的问题清单:你的系统输出的是像素、状态,还是动作?主要消费者是人还是机器?是否具备可交互的结构,还是只有可观看的外观?
这三个问题问下去,大量PPT里的“世界模型”故事会当场露馅。
纯视频生成公司的护城河会承压,好看不够,还要结构与动力学。机器人创业公司必须回答,你的训练和评估,是否仍被真机节奏锁死。而那些同时通向创作工具链、机器人训练场和实时渲染基础设施的玩家,才站在三条变现线的交叉口上。
2018年,Ha和Schmidhuber问:智能体能否在自己的梦中学习?
2026年,李飞飞给出了更锋利的版本:你确定你建的“世界”,已经走出那场好看的梦?

夜雨聆风