ARTICLE · 1281643
物理AI:大模型之后,人工智能的下一站浪潮


你有没有想过这样一个问题:
今天的AI,可以写代码、做PPT、分析财报,甚至帮你完成一项复杂的工作。
但如果你让它操控一个机器人走进厨房,把桌上的杯子放进橱柜,再把厨房收拾干净,它真的能做到吗?
它需要知道杯子在哪里,判断杯子的材质和重量,计算手臂应该伸到什么位置,控制抓取的力度,还要应对杯子突然滑动、物体被遮挡、橱柜门没有完全打开等意外情况。

在电脑屏幕里,AI犯错了,可以撤销。
在真实世界里,AI一旦判断失误,杯子可能摔碎,设备可能损坏,甚至会伤害到人。
这就是今天人工智能正在面对的一道新关卡。
过去,我们让AI理解语言、生成内容、处理信息。
接下来,我们希望AI不仅能够理解人类描述的世界,还能真正理解世界如何运行,并在其中采取行动。
这就是近年来越来越受到关注的一个方向:
Physical AI,物理AI。
黄仁勋:“物理 AI 是人工智能的下一波浪潮。”
李飞飞:“我们的目标是将空间智能打造为 AI 的下一个前沿。”
王兴兴:“物理 AI 已经看到被击穿的苗头。这个窗口是一到三年。”
马斯克:“人形机器人会成为全球规模居首的产业,未来地球上人形机器人的数量甚至会超过人类。”

物理AI真正的产业机会,可能远比人形机器人更大
每次谈到具身智能,很多人首先想到的都是人形机器人。
它们能够行走、搬运物品,甚至完成一些复杂操作,确实很容易吸引注意力。但如果只盯着人形机器人,我们可能会低估物理AI的产业空间。
物理AI不等于人形机器人。
只要一个智能系统需要感知真实环境、预测物理变化并采取行动,它就可能涉及物理AI。

如果物理AI能够帮助机器人更好地理解物体、预测抓取结果并调整动作,就有机会降低部分任务对人工编程和固定工装的依赖。
未来,工厂需要的不只是动作精准的机械臂,还可能需要能够理解任务、适应变化并与其他设备协作的智能系统。
仓库是物理AI非常重要的应用场景。仓库里的物品形状、材质和包装各不相同,货物还可能发生遮挡、堆叠、倾斜等情况。机器人需要处理的,不只是识别一个箱子,而是在复杂环境下完成连续操作。
物理AI的价值,就在于帮助系统提高对变化的适应能力。
自动驾驶同样是物理AI的重要方向。车辆不仅需要识别道路、行人和其他汽车,还需要预测它们可能采取的行动。前方行人突然走向马路,旁边车辆开始变道,路口出现意料之外的障碍物,系统都必须在有限时间内作出反应。
这与世界模型的动态预测,以及世界动作模型将预测用于行动决策的思路密切相关。
04家庭服务:机器人能不能真正帮人干活?
家庭可能是最能检验机器人通用能力的场景。工厂可以通过固定布局、标准化物品和专门设计的流程降低任务难度。
家庭却完全不同。今天桌上放着一个杯子,明天可能换成玻璃瓶;昨天地面干净,今天可能多了一个玩具;抽屉、柜门和物品的位置,也会随着日常生活不断变化。机器人需要处理的不是一个固定动作,而是一连串相互关联的任务。它需要知道自己在哪里、目标是什么、下一步应该做什么,以及行动失败之后如何恢复。
物理AI最大的瓶颈,不只是模型不够聪明
如果你认为,只要继续扩大模型参数量、增加训练数据,机器人就会自然而然地变聪明,那么事情可能没有这么简单。物理世界与数字世界存在一个根本区别:
在数字世界里,很多错误可以撤销;在物理世界里,错误往往会产生真实后果。
这意味着物理AI必须解决几类关键问题。
第一,数据从哪里来?
互联网拥有海量文本和图片,但这些数据并不天然包含机器人执行动作时所需的完整信息。

一段人类拿起杯子的视频,可以展示动作的视觉过程,却未必包含机器人的关节状态、控制信号、接触力以及完整的执行反馈。如何获得高质量的具身数据,并让不同来源的数据能够协同训练,是物理AI面临的重要挑战。
第二,如何降低真实世界试错的成本?
一个可行方向,是在仿真环境中训练和测试机器人。开发者可以构建不同的场景,改变物体的位置、光照和环境条件,让机器人在虚拟环境中反复练习。再通过真实机器人进行验证,逐步缩小仿真环境与现实之间的差距。

这就是常说的Sim-to-Real,即从仿真到现实。但仿真不可能自动解决所有问题。真实环境中的摩擦、碰撞、传感器噪声和执行器误差,都可能让仿真中表现良好的策略在现实里失效。
因此,仿真训练、真实数据和实际评测,需要形成相互配合的闭环。
第三,怎样判断模型是否真的理解了物理世界?
一段视频生成得足够逼真,不代表模型能够正确预测物体碰撞后的运动。
一个机器人完成了某次抓取,也不代表它换一个物体、换一个角度,仍然能够成功。所以,物理AI的评价不能只看画面是否自然、动作是否流畅,还要看它能否完成任务、能否适应变化、能否在失败时恢复,以及能否满足安全要求。
这些问题共同决定了物理AI的发展速度。也正因为如此,物理AI不是简单地给现有大模型接上一个机械臂。它涉及数据、模型、算法、硬件、控制、仿真和系统工程等多个层面。
真正的竞争,不只是让机器人完成一次动作,而是让它在真实世界里长期、稳定、安全地完成一类任务。

一本值得关注的技术书:
系统理解物理AI世界动作模型

如果你已经意识到,物理AI不是简单的机器人概念,也不是给大语言模型增加一个硬件外壳,那么接下来最重要的,就是建立一套完整的知识框架。而不是今天看一个世界模型的新闻,明天读一篇具身智能论文,后天又去研究某个机器人演示,最后知道很多名词,却依然说不清楚这些技术之间究竟是什么关系。
这本书有一个值得关注的切入点:
它以世界动作模型为核心主线,尝试从基础概念、模型原理,一直讲到工程开发和真实任务实践。
向上滑动阅览
目录
第1章 物理智能概述1
1.1 从数字智能到物理智能 3
1.1.1 大模型的卓越成就3
1.1.2 物理智能面对的独特挑战5
1.1.3 物理智能的愿景7
1.2 物理智能的技术版图9
1.2.1 物理智能的算法9
1.2.2 物理智能的数据12
1.2.3 物理智能的载体 18
1.3 实现物理智能的路径 20
1.3.1 物理智能的能力分级 20
1.3.2 技术演进脉络与里程碑 24
1.3.3 物理智能的发展趋势 27
第2章 物理通用人工智能的预备知识 28
2.1 空间表示模型基础知识 28
2.1.1 空间表示方法 29
2.1.2 空间重建方法 30
2.1.3 空间理解方法33
2.2 生成式模型基础知识 34
2.2.1 变分自编码器 34
2.2.2 自回归生成模型 36
2.2.3 扩散模型 38
2.3 大模型基础知识 42
2.3.1 大语言模型42
2.3.2 多模态模型 46
2.3.3 智能体技术 48
2.3.4 具身大模型 53
第3章 世界动作模型的基本原理 58
3.1 世界动作模型的概念基础 58
3.1.1 世界表征与世界模型 59
3.1.2 动作表征与动作模型 77
3.2 世界动作模型的数学框架与主要范式 89
3.2.1 世界动作模型的形式化定义 89
3.2.2 基于视频生成的世界动作模型 92
3.2.3 基于几何生成的世界动作模型 96
3.2.4 基于隐表示生成的世界动作模型 101
3.3 高阶世界动作模型与原生物理智能 104
3.3.1 原生世界动作模型 104
3.3.2 群体世界动作模型 108
3.3.3 物理态世界动作模型 112
第4章 世界动作模型的开发闭环 118
4.1 世界动作模型的数据工程 118
4.1.1 具身数据金字塔的概念 118
4.1.2 具身数据金字塔的构成 120
4.1.3 具身数据的获取方式 124
4.2 世界动作模型的训练和部署 129
4.2.1 世界动作模型的训练范式 129
4.2.2 世界动作模型的大规模训练 133
4.2.3 世界动作模型的部署与推理优化 136
4.3 世界动作模型的评测 141
4.3.1 世界动作模型的真机评测 142
4.3.2 世界动作模型的仿真评测 144
4.3.3 基于模型的评测 146
第5章 世界动作模型的应用实践 150
5.1 基于世界动作模型的移动导航 150
5.1.1 长程移动导航任务中的稳定性挑战 151
5.1.2 基于世界动作模型的失稳恢复 153
5.1.3 长程移动导航系统的竞赛验证流程 155
5.2 基于世界动作模型的移动操作 165
5.2.1 连续移动操作任务的复杂性挑战 166
5.2.2 基于世界动作模型的连续预测167
5.2.3 移动操作系统的竞赛验证流程170
5.3 物理智能体操作系统 181
5.3.1 从大语言模型到智能体 181
5.3.2 物理智能体的系统化集成 184
5.3.3 认知与执行解耦的物理智能体操作系统 190
5.3.4 PhyAgentOS操作指南 201
第6章 世界动作模型的发展趋势与挑战 208
6.1 世界动作模型的技术创新方向 208
6.1.1 因果世界动作模型架构 208
6.1.2 因果世界动作模型数据配方 215
6.1.3 因果世界动作模型评测体系 221
6.2 世界动作模型发展趋势 226
6.2.1 在特定任务中验证算法的有效性 226
6.2.2 在现实世界中验证规模定律 229
6.2.3 从已有系统中进化出新型系统 232
6.3 世界动作模型开放难题挑战 234
6.3.1 现实开放场景的模型泛化策略 234
6.3.2 高质量数据的获取与高效扩增 236
6.3.3 人机共存图景下的安全问题 238
结语:世界动作模型开启人机共存时代242
参考文献243
全书共六章,覆盖从数字智能到物理智能的概念跃迁、世界动作模型的数学框架、数据与训练、部署评测、应用实践以及前沿挑战。
01. 先把物理AI的底层逻辑讲清楚
从数字智能与物理智能的区别讲起,梳理物理智能的算法、数据与载体三大技术要素,并讨论物理智能的能力分级、演进路径与发展趋势。
在物理世界中,系统不仅需要处理信息,还必须面对真实的空间、物体运动、环境变化和行动后果。因此,物理智能不仅需要更强的感知能力,还需要把感知、预测、决策和执行连接起来。
对于刚刚进入这个领域的读者,这部分能够帮助你建立整体认识,而不是一上来就被各种技术名词淹没。
02. 围绕世界动作模型,系统拆解核心技术原理
从世界表征、世界模型、动作表征和动作模型等概念出发,进一步给出世界动作模型的形式化定义与数学框架。在此基础上,书中系统分析了三种主要建模范式:
① 基于视频生成的世界动作模型
② 基于几何生成的世界动作模型
③ 基于隐表示生成的世界动作模型
书中还进一步讨论原生世界动作模型、群体世界动作模型和物理态世界动作模型等更高阶方向。这部分适合希望深入理解世界模型、具身智能和机器人决策技术的读者。
03. 不只讲模型,还讲数据、训练、部署和评测
第一,具身数据工程。
讨论具身数据金字塔的概念、组成与数据获取方式。对于物理AI来说,数据不仅要帮助模型识别环境,还要支持模型学习物体运动、动作执行和环境变化。
第二,训练与部署。
从训练范式、大规模训练,到部署和推理优化,介绍世界动作模型从研发走向系统应用所涉及的工程问题。
第三,评测体系。
书中分别讨论真机评测、仿真评测和基于模型的评测。为什么这部分重要?因为物理AI最怕的,就是模型在演示中看起来很强,换一个场景就失效。只有把模型的预测能力、任务完成情况和真实环境中的表现纳入评测,才能逐步判断技术是否有效。
对于机器人算法工程师、具身智能研究人员以及希望深入理解相关技术的开发者来说,这种从数据到评测的完整视角,比单独学习某一个模型更有价值。
04. 把世界动作模型放进真实任务中理解
第一,移动导航。
机器人在复杂环境中持续移动,不仅要找到路线,还要应对长程任务中的稳定性挑战。书中进一步讨论基于世界动作模型的失稳恢复,以及相关系统的竞赛验证流程。
第二,移动操作。
让机器人一边移动,一边完成操作,涉及连续预测、环境变化和动作执行之间的复杂关系。这类任务比单独执行一个固定抓取动作更能体现物理智能的系统性挑战。
第三,物理智能体操作系统PhyAgentOS。
书中讨论了从大语言模型到物理智能体的演进、物理智能体的系统化集成,以及认知与执行解耦的操作系统设计。配套项目PhyAgentOS还提供了开源代码仓库,读者可以结合第五章的相关内容进一步理解系统设计与实现思路。对于希望从概念走向实践的读者来说,这部分能够帮助你把模型、智能体、控制器和硬件之间的关系串联起来。
05. 哪些人适合读这本书?
|人工智能与机器人方向的学生、研究人员
|机器人算法工程师和具身智能开发者
|自动驾驶、智能制造等领域的技术人员
|希望深入了解物理AI技术趋势的技术管理者与相关从业者

当人工智能开始从屏幕走向现实世界,理解这场技术变革的底层逻辑,将变得越来越重要。
如果你正在关注具身智能、世界模型和机器人技术,这本书可以作为进一步深入学习的参考。
从理解物理智能开始,走进AI与真实世界交汇的新阶段。
供稿:杨中兴
发布:杨中兴
审核:陈歆懿
如果喜欢本文
欢迎在看丨留言丨分享至朋友圈 三连
















































































