夜雨聆风学习资料网

ARTICLE · 1257789

世界模型最新报告|AI开始学习一个世界真正的“物理脾气”

世界模型最新报告|AI开始学习一个世界真正的“物理脾气”

副标题:从物理校准、多主体世界到世界模型训练流水线——AI正在从“预测画面”走向“理解环境如何运转”

📅 2026年10月27日🔍 本期关键词:PhysiCalWorld、物理校准、多主体世界、Cosmos、预测记忆、芯片AI、DNA大模型


导读

如果给AI看一个箱子,它能不能预测:

推一下之后,箱子会移动多远?

现在很多世界模型已经能够给出一个“看起来合理”的答案。

但问题是:

这个箱子到底是10公斤,还是100公斤?

地面是瓷砖,还是橡胶?

轮子的阻尼是多少?

重心在哪里?

仅仅通过一张图片,很多物理属性实际上无法确定。

这正在成为世界模型研究中的一个非常重要的问题:

世界模型不仅要知道“世界长什么样”,还要迅速判断“这个具体世界是怎么运转的”。

近期出现的一批研究,正在把世界模型进一步推向这一方向。

本期重点关注四条新趋势:

① 世界模型开始学习“现场校准物理规律”

② 世界模型从单个智能体走向“多主体世界”

③ 世界模型正在形成数据→训练→仿真→评测的完整工具链

④ 机器人开始把预测、记忆和行动真正连接起来

而在另外30%的AI领域中,我们再看看两个很值得关注的新变化:

AI开始深入芯片工程,以及DNA和生命科学。


第一部分

世界模型最新进展 


一、一个非常重要的新方向:PhysiCalWorld

近期值得重点关注的一项研究是:

PhysiCalWorld:In-Context Physics Calibration for World Models

也就是:

面向世界模型的“上下文物理校准”。

它试图解决一个过去经常被忽略的问题。

世界模型为什么经常“物理预测错误”?

假设机器人第一次进入一个陌生房间。

它看到桌子上有一个盒子。

视觉模型能够识别:

这是一个盒子。

但是仅靠视觉,它不知道:

  • 盒子有多重;
  • 重心在哪里;
  • 桌面摩擦力是多少;
  • 盒子内部是否装了东西;
  • 某个机械关节阻尼是多少。

于是世界模型只能根据训练数据进行“经验猜测”。

比如模型过去看到的大多数纸箱都比较轻。

那么它可能预测:

机器人轻轻一推,箱子移动30厘米。

但现实中的箱子可能装满金属。

结果:

机器人推了一下。

箱子几乎没动。

世界模型的预测立即出现偏差。

PhysiCalWorld针对的正是这个问题。

研究者提出:

不要让世界模型永远依赖训练时学到的平均物理规律,而是先让智能体在当前环境中做几次探索动作。

例如:

推一下。

拉一下。

轻轻碰撞。

旋转一次。

观察结果。

然后模型从:

动作 + 观察结果

中提取这个环境的物理特征。


二、世界模型开始拥有“物理描述 Token”

PhysiCalWorld里面一个非常有意思的设计,是:

Physics Descriptor Token

可以把它理解成:

当前世界的“物理指纹”。

流程大概是:

当前环境↓执行几个探索动作↓观察物体如何运动↓Context Encoder↓生成 Physics Descriptor↓世界模型↓预测未来

研究涉及的物理变化包括:

Mass质量

Mass Distribution质量分布

Joint Damping关节阻尼

Surface Friction表面摩擦力

Air Drag空气阻力

更有意思的是:

这个系统并不要求人工告诉模型:

“摩擦系数=0.62”

或者:

“物体质量=12.4kg”。

模型可以直接从交互过程中形成一个潜在的物理表示。

研究者报告,这种物理描述可以在后续多次预测中重复使用,而且不需要针对每一个新环境重新微调模型。


三、这意味着什么?

这是一个非常值得关注的变化。

过去我们经常认为世界模型的任务是:

当前状态 + Action → Future State

现在可能需要变成:

当前状态

  • Action
  • 当前世界的Physics Context→ Future State

也就是说:

世界模型开始拥有“环境参数”。


举一个足球游戏的例子

假设未来使用世界模型模拟足球。

同样一个射门动作:

球速120km/h。

但环境不同:

环境A

干燥草地。

环境B

暴雨。

环境C

人工草皮。

环境D

高海拔地区。

球的:

滚动距离、

弹跳高度、

空气阻力、

旋转衰减,

理论上都可能不同。

一个更成熟的世界模型,不应该简单回答:

“根据过去的数据,这个球应该这样运动。”

而应该:

先观察当前环境,

估计环境物理状态,

然后:

动态调整自己的预测。

这对:

机器人、

游戏AI、

自动驾驶、

无人机、

数字孪生,

都非常重要。


四、第二个新方向:世界模型正在从“单人游戏”进入“多人世界”

另一项近期研究提出了一个非常有意思的问题:

Can LLMs Be Event World Models?

研究者把问题从传统的:

Single-Actor Environment

扩展到:

Multi-Actor Event World

也就是:

多主体事件世界。

研究使用了两类环境:

Diplomacy多人策略游戏

以及

Polymarket真实交易事件数据。

这里暴露出了世界模型一个非常大的问题。


五、知道物理规则,不等于知道“别人下一步要干什么”

传统世界模型经常假设:

智能体执行Action A,

环境就产生:

State B。

例如:

我向前走↓位置向前移动

这是相对容易预测的。

但多人世界完全不同。

比如:

我进攻A

未来结果不仅取决于:

我的Action。

还取决于:

玩家B怎么行动。

玩家C怎么行动。

玩家D有没有改变策略。

甚至:

其他人什么都不做,

世界也可能继续发生变化。


Diplomacy实验非常说明问题

论文报告,在一个七玩家 Diplomacy 预测任务中:

当模型能够看到所有玩家的动作时,

一个经过微调的 Qwen3-8B:

完整下一状态预测准确率达到:

65.1%

但是:

如果只知道自己的动作,

准确率下降到:

20.8%

而在玩家之间高度互动的状态中:

知道所有玩家动作:

30.8%

只知道自己动作:

1.8%

差距非常巨大。

这说明一个重要问题:

很多世界模型真正困难的部分,可能并不是预测物理环境,而是预测其他智能体。


六、世界模型未来可能需要“两套预测器”

因此,未来复杂世界模型可能需要同时拥有:

第一层:Physics World Model

预测:

物体运动、

碰撞、

空间变化、

环境状态。


第二层:Agent World Model

预测:

人会怎么做?

NPC会怎么做?

其他机器人会怎么做?

其他车辆会怎么做?

竞争对手会怎么做?


例如自动驾驶:

前面的汽车是一个物理物体。

但它同时也是一个:

Agent。

你不仅需要预测:

汽车按照当前速度3秒后在哪里。

还需要判断:

司机是不是准备变道?

是不是准备刹车?

是不是准备超车?

这实际上是:

Physics Prediction

Intent Prediction

的结合。


七、这对游戏世界模型尤其重要

如果未来做:

GTA式开放世界,

足球游戏,

CS类FPS,

大型多人模拟游戏,

世界模型不能只是:

“生成下一帧画面。”

它必须理解:

NPC意图。

例如CS:

敌人消失在拐角

世界模型不能只预测:

墙后面是什么画面。

它还需要推断:

敌人可能:

继续前进,

架枪,

换弹,

绕后,

扔闪光弹,

撤退。

因此:

真正的游戏世界模型最终可能是:

Visual World Model        +Physics World Model        +Agent Behavior Model        +Memory        +Planner

这比单纯的视频生成复杂得多。


八、第三个重要变化:世界模型开始进入“工程工具链时代”

如果说前几年大家关注的是:

谁能训练出最强的世界模型?

那么现在另一个问题越来越重要:

普通开发团队怎样训练自己的世界模型?

近期 NVIDIA 对 Cosmos 平台进行了扩展。

新增内容包括:

Cosmos Data Factory、

训练与优化工具、

Simulation Checkpoints、

世界模型评测工具,

以及面向不同数据生成任务的 Blueprint。

其中包括:

Autonomous Vehicle Dataset Generation

自动驾驶数据生成。

Event Video Generation

把静态图片转换为罕见事件视频。

Defect Image Generation

生成工业缺陷。

Video Data Augmentation

改变天气、光照等条件,同时尽量保持原始场景结构。

这意味着世界模型竞争正在从:

“模型竞争”

逐渐扩展成:

“完整开发流水线竞争”。


九、世界模型开始真正成为“仿真器”

Cosmos最新工具中还有一个非常值得注意的方向:

Closed-Loop Simulation

闭环仿真。

简单理解:

过去:

输入↓世界模型↓生成视频

现在:

Agent执行Action        ↓World Model        ↓生成Future State        ↓Agent观察Future State        ↓再次执行Action        ↓World Model        ↓继续模拟

形成:

Action → World → Action → World

循环。

NVIDIA介绍的新 Cosmos 3 Nano 仿真模型变体,可以用于重复运行难以真实采集的多视角、多传感器场景,并在真实测试前评估自动驾驶或双臂机器人的策略。

这才是真正意义上的:

World Simulator。


十、合成数据也发生了变化:不再追求“越多越好”

Cosmos Data Factory体现出的另一个趋势是:

过去:

真实数据+大量随机合成数据

现在越来越强调:

真实数据+针对性合成数据

例如:

液体泄漏,

工业缺陷,

危险事件,

罕见交通场景。

NVIDIA披露,ANYbotics利用相关工具生成了超过1500个合成视频片段,用于训练工业巡检机器人识别液体泄漏等设施变化。

这说明:

世界模型很重要的商业价值之一,可能不是替代真实世界,而是生成现实中“很贵、很危险、很难遇到”的数据。


十一、第四个趋势:机器人开始加入“预测记忆”

10月24日,DEEP Robotics公布了五项与具身智能相关的研究进展。

涉及:

物理预测、

导航与操作、

策略优化、

Predictive Memory,

以及数据驱动评估。

这些研究共同指向一个目标:

让机器人在不断变化的真实环境中保持可靠运行。

这里非常值得关注的是:

Predictive Memory

传统机器人记忆:

“我刚才看到了什么?”

未来机器人可能需要的记忆:

“我当时看到什么?”

“我当时认为接下来会发生什么?”

“后来实际上发生了什么?”

这样机器人就可以比较:

PredictionvsReality

不断修正自己的世界模型。


十二、世界模型正在形成一个非常清晰的新循环

综合近期这些研究,一个更完整的世界模型体系开始出现:

真实世界           ↓        Observation           ↓      World Model           ↓    Future Prediction           ↓        Planner           ↓         Action           ↓        真实世界           ↓        新 Observation           ↓     Prediction Error           ↓   更新 Physics Context           ↓       World Model

这与早期:

输入图片 → 生成未来视频

已经有本质区别。


十三、2026年世界模型真正的分水岭

现在可以看到三个阶段。

第一阶段

Video Generation

目标:

生成一个看起来真实的未来。


第二阶段

Interactive World

目标:

用户可以进入这个世界,并影响世界。


第三阶段

Actionable World Model

目标:

Agent可以利用世界模型进行预测、规划、试错和决策。

真正产生机器人和游戏AI价值的,很可能是第三阶段。


十四、一个值得持续观察的技术路线

如果把今天的研究组合起来,一个未来世界模型可能包含:

Multimodal Encoder       ↓Scene Representation       ↓Physics Context Encoder       ↓Physics Descriptor       ↓World Dynamics Model       ↓Multi-Agent Predictor       ↓Future States       ↓Reward / Risk Model       ↓Planner       ↓Action

旁边再增加:

Long-Term Memory

记录:

过去发生过什么,

过去预测过什么,

预测错在哪里。

这样AI才可能真正形成:

对世界持续更新的内部模型。


第二部分

其他AI领域最新进展 


十五、AI开始进入芯片设计的核心工程流程

10月26日,一个值得关注的新消息来自芯片EDA领域。

Cadence公布了:

Cadence Maestro

这是一套面向芯片设计的AI模型和Agent系统。

与普通聊天机器人不同,它的目标不是写文章,而是帮助AI Agent执行原本由芯片工程师完成的设计任务。

一个重要特点是:

企业可以选择:

云端运行,

公共云运行,

或者:

直接部署在自己的数据中心。

这对于芯片公司非常重要。

因为芯片设计文件本身就是企业最敏感的知识产权之一。

Cadence还允许企业利用自己的芯片设计数据继续进行定制和微调。


十六、AI正在从“通用助手”变成“行业工程模型”

这个变化值得特别关注。

第一代生成式AI:

Chatbot

第二代:

Coding Agent

下一阶段可能大量出现:

Chip AgentBiology AgentRobot AgentManufacturing AgentScientific Agent

这些系统不一定需要拥有最大的通用模型。

相反,它们可能是:

通用Foundation Model        +行业数据        +行业工具        +行业Verifier        +Agent Workflow

芯片设计正是非常典型的案例。


十七、另一个非常有意思的方向:AI开始“读DNA”

近期 Hugging Face 公布的 Carbon-X,则把大语言模型思路进一步带到了基因序列领域。

Carbon-X建立在 Qwen3-14B 基础上,并进一步使用:

基因序列 + 自然语言

进行训练。

训练数据涉及:

人类、

其他哺乳动物、

植物、

真菌等DNA信息。

目标包括帮助研究人员分析基因突变、研究疾病风险,以及探索与基因治疗相关的序列设计。出于安全考虑,公开报道显示病毒序列没有被纳入训练数据。


十八、从“语言Token”走向“生命Token”

传统大语言模型学习:

今天 天气 很 好

模型预测:

下一个Token是什么。

DNA模型面对的是:

ATCG

同样存在:

序列,

上下文,

结构,

长距离依赖关系。

因此,Transformer正在从:

Human Language

逐渐进入:

Programming Language

↓

Protein

↓

DNA

↓

Physical World

这可能是基础模型接下来几年非常重要的一条扩展路线。


十九、今天最值得关注的AI大趋势

把今天这些信息放在一起看,会发现AI正在发生一个很明显的变化:

过去:

AI学习互联网。

文本、

图片、

网页、

代码。

现在:

AI开始学习现实世界。

机器人学习:

物理世界。

世界模型学习:

环境动态。

多主体模型学习:

其他智能体行为。

芯片AI学习:

工程设计空间。

生命科学模型学习:

DNA和生物序列空间。

这意味着AI的“训练场”正在从互联网扩展到:

整个现实世界。


二十、世界模型下一阶段真正值得关注的5个指标

未来看一个世界模型是否真正强大,我建议不要只看生成视频有多漂亮。

更应该关注:

① Physics Adaptation

进入陌生环境后:

能不能迅速学会这个世界的物理规律?


② Multi-Agent Prediction

环境里存在多个智能体时:

能不能预测其他人的行为?


③ Long-Horizon Memory

运行几分钟、几十分钟甚至几小时后:

还记不记得之前发生过什么?


④ Closed-Loop Planning

模型生成的未来:

能不能真正帮助Planner选择更好的Action?


⑤ Sim-to-Real Gain

最终最重要的问题:

在世界模型里训练出来的Agent,到了现实环境到底有没有变强?

如果第五项没有提升:

前面的漂亮视频,

可能都只是Demo。


结语

2026年的世界模型竞争正在发生一次非常明显的转变。

最开始大家比:

谁生成的视频更真实。

后来比:

谁生成的世界可以实时交互。

现在越来越重要的问题已经变成:

谁能够真正理解一个环境的动态规律,并让智能体利用这些规律做出更好的行动。

PhysiCalWorld让模型通过交互快速了解一个陌生环境的物理属性。

多主体Event World研究则提醒我们:

理解世界,还必须理解世界里的其他智能体。

Cosmos等工具链正在把世界模型从论文模型变成可以训练、微调、评测和部署的工程平台。

机器人研究则进一步把:

预测、记忆、行动

连接起来。

因此,世界模型真正的终点可能从来都不是:

“生成一个逼真的视频。”

而是:

在行动之前,AI能够先在自己的内部世界中把未来“活一遍”。

然后再选择:

哪一个未来最值得走。

这可能才是世界模型真正走向智能体、机器人和下一代游戏AI的关键。



参考资料

PhysiCalWorld — In-Context Physics Calibration for World Models近期项目与论文资料。

From Single-Actor Environments to Multi-Actor Event Worlds: Can LLMs Be Event World Models?研究多主体事件世界中的世界模型预测问题。

NVIDIA Cosmos — New Tools to Train, Evaluate and Deploy World ModelsNVIDIA于2026年10月21日发布的Cosmos世界模型工具链更新。

DEEP Robotics — Embodied AI Research Advances2026年10月24日公布的具身智能研究进展。

Cadence Maestro2026年10月26日公布的面向芯片设计的AI模型与Agent系统。

Carbon-X近期公布的面向DNA序列与生命科学研究的开放AI模型。


声明:本文依据截至2026年10月27日检索到的公开研究、官方技术资料及新闻报道整理。部分世界模型研究仍属于论文、预印本、研究项目或早期产品阶段,实验指标应结合具体数据集和测试条件理解,不代表已经达到通用现实环境部署水平。

相关学习资料