AI革命下一站:物理AI

物理AI是可以理解真实世界的AI系统，物理 AI 要回答世界接下来如何变化，实体发生动作之后，世界又会怎么反应。

物理AI需要理解高维、连续、含噪的数据（如视频、传感器数据）；能构建预测模型，洞察环境演变及自身行动的影响；能进行规划和核心层面的推理；并且是可控且安全的。

黄仁勋提到AI 经历了三代技术范式的转移，从感知 AI 到生成式 AI，再到 Agentic AI，接下来将会是物理 AI（Physical AI）的时代。我们正在进入物理 AI 的时代，即能够运行、推理、计划和行动的 AI。

物理世界的AI驱动，最初也是依赖人工规则驱动，使用硬编码逻辑，场景适应性差。在数据驱动时代，依赖海量数据统计学习，缺乏环境理解与泛化能力。目前进入了推理驱动的3.0时代，具备环境推理、因果理解与规划能力，支持复杂任务闭环决策。

以自动驾驶为例：1.0 是工程师把所有路况写成规则，而 2.0 是模型从海量数据里自己学，但本质还是 “照抄人类行为”，不懂为什么要这么做。3.0 的物理 AI（世界模型）会先构建一个虚拟的交通场景，预测其他车辆、行人的运动轨迹，再根据物理规律规划自己的行驶路线，真正实现“先理解世界，再做出决策”。

随着物理AI进入VLA/端到端算法时代，强化学习演进为推理训练的核心范式。具体而言，以环境视频作为智能体的输入，使其通过反复试错，比较不同决策的长期结果，自主优化决策。

VLA：通过大量视频学习展现执行能力

VLA模型（Vision-Language-Action, 视觉-语言-动作模型）是一类多模态人工智能模型，能将视觉、语言和动作三种能力融为一体。VLA通过端到端学习，在统一模型中跨视觉和语言模态理解任务语义，并映射到具体操作上，从而省略了手工设计规则和模块对接。

从VLM（Vision-Language Model 视觉语言模型）到VLA，实现端到端能力。以CLIP、LLaVA为代表的VLM成功地将视觉和语言两种模态对齐，2023年的RT-2模型正式提出了“VLA”这一术语，并展示了将一个庞大的VLM直接微调用于机器人控制的惊人潜力，标志着VLA研究进入了新阶段。

VLA模型的核心工作流程

它接收状态（State）（如摄像头捕捉的图像）和指令（Instruction）（如用户的语言命令）作为输入，通过视觉编码器和语言编码器进行处理，最终由动作解码器（Action Decoder）生成机器人需要执行的动作（Action）；

世界模型：物理AI推理训练必须的虚拟环境

世界模型（World Model）：世界模型原本是强化学习领域的概念，指AI智能体通过学习环境的生成模型，在内部构建对外部世界的表征，从而可以在“脑海中”模拟试验动作方案。

训练数据珍贵，世界模型可以通过合成虚拟环境，弥补真实数据的缺失。基于真实采集的视频，进行高保真重建，可支持以下多样化训练数据批量生成：

对颜色/纹理/材质等物体和环境属性进行高效泛化

根据不同观测位置，实时渲染图像和视频信息

端到端仿真训练环境搭建

世界模型目前还没有一个如LLM一样公认的算法架构，目前世界模型在学术领域的主流技术路线有如下4个：观测级生成式模型强在 “逼真”；潜在空间模型强在 “效率”；强化学习导向的模型强在 “决策”；以对象为中心的模型强在 “可解释性”。它们分别从不同维度探索 AI 理解物理世界的方式，也对应着不同的技术挑战与应用场景。