ARTICLE · 1269885
PHYSICAL AI · 22:仿真里会做的动作,为什么到了真实机器人上会失效?
固定同一个策略，视觉变化可能让它选错动作；即使命令相同，接触物理和执行器响应的差异也会改变结果。
缩小差距，要把技术放到对应环节：扩大训练覆盖、改善视觉、把运动转成可执行动作，以及让轨迹适应物体形变。
判断效果，既看真机结果，也看对照条件。改善视觉的收益，不能直接当作接触或控制问题已经解决。
仿真里的机械臂能把插销送进孔，换到真机却卡在孔口。可能是看偏了，也可能是孔的公差、摩擦或动作跟踪发生了变化。
这篇围绕这些失效环节，拆解四项 2026 年研究怎样生成训练信号、干预哪一层，以及真机实验验证了什么。
01｜同样的动作，为什么真机执行会失败？
Policy 根据 Observation 生成 Action。部署到真实机器人后，这条链路可能在三个位置发生变化。
Observation Gap：输入变了。 纹理、光照、相机标定和遮挡改变视觉特征。孔的位置估计偏了，策略就可能选出不同的动作。
Dynamics Gap：交互变了。 几何公差、摩擦、接触刚度和材料形变，决定同一动作能否产生预期运动。
Action Execution Gap：命令落实得不同。 延迟、力矩限制与关节响应，使实际轨迹偏离 Policy 的目标。
所以，增加仿真样本时要先确定缺口。把错误物理条件重复更多次，不能补上缺失机制；只改善图片，也不能消除动作跟踪误差。
图 1 · Sim-to-Real Gap：失效发生在哪一层？
Simulation Policy Observation → Policy → Action | ||
↓ | ||
视觉差距 纹理、光照、相机 | 物理差距 摩擦、接触、形变 | 控制差距 延迟、响应、跟踪 |
↓ | ||
Real Robot Execution 相同策略，不同执行结果 |
三类差距并列作用，不是依次经过的三个处理步骤。先定位失败原因，再选择干预手段。
02｜让仿真覆盖更多真实变化
MolmoBot 首先处理训练覆盖：随机化对象、布局、相机和动力学条件，再自动生成专家轨迹。MolmoBot，2026-03
专家轨迹由分阶段规划产生：读取预计算抓取候选，按接近距离与姿态等条件排序，再做碰撞过滤和逆运动学检查；执行接近、抓取、抬升、放置等阶段。Franka 使用 IK 插值，RB-Y1 使用 cuRobo 做避碰运动规划。
记录包含 RGB、本体状态、Action 和任务信息。公开数据约 170 万条轨迹，覆盖超过 1.1 万种目标对象、9.4 万个环境。
主模型采用 Molmo2-4B 与 DiT Flow-Matching 动作头：图像和任务特征经跨注意力进入动作头，预测 16 步 Action Chunk，执行前 8 步后重新预测。训练使用合成专家轨迹做 Behavior Cloning。
它增加了不同状态下的动作监督。真机收益是否来自覆盖，仍要结合留出环境测试，不能只看数据总量。
03｜仿真动作正确，但画面不像真实世界
RoboRender 针对视觉输入：保留仿真轨迹，用条件视频模型重新生成 RGB，再与原来的 State、Action 配对。RoboRender，2026-10-07
生成条件包括深度、语言、机器人 RGB 与掩码：深度约束场景结构，机器人条件约束本体姿态与运动，语言补充对象和外观描述。多视角在统一潜在表示中生成，减少各相机画面彼此不一致。
下表列出实现参数；第 06 节的图 3 用同轨迹真机对照检查视觉改造是否有用。
实现项 | 公开设置 |
视频模型 | Wan2.1-T2V-1.3B |
真实视频样本 | 126,950 条，来自 AgiBot 与 DROID |
分辨率 | 416 × 240 |
生成条件 | Depth、Language、Robot RGB / Mask |
加速方式 | DMD2：50 步采样蒸馏为 6 步 |
下游策略 | π₀.₅；预测 32 步，执行前 16 步 |
策略训练 | 40K steps；batch size 72 |
渲染器使用真实机器人视频训练，下游使用合成轨迹微调已有 π₀.₅。其“零样本部署”指没有目标任务的真机微调，基础模型与渲染器的数据来源仍需分别说明。
这条路线干预的是视觉差距。它不重新求解接触动力学，生成画面与动作标签的一致性也仍需核验。
04｜视频里能完成动作，机器人如何复现？
GRAIL 处理另一道转换：视频中的运动没有直接对应机器人的关节命令，需要重建、重定向与跟踪。GRAIL v2，2026-10-19
系统先固定 3D 场景、尺度、相机，以及接近机器人比例的人体角色，再生成交互视频。随后用 GENMO / WiLoR 估计人体与手部运动，用已知物体模型辅助 FoundationPose 跟踪对象。
独立估计容易出现穿透、悬空接触和尺度漂移。GRAIL 联合优化关键点、投影、深度、接触与正则项，得到带尺度的 4D 人—物轨迹。
轨迹重定向到 G1 后，由全身控制器跟踪：操作侧训练物体感知的潜在残差适配器，地形侧加入高度图；再将跟踪能力蒸馏到第一人称视觉策略。
它把运动参考变成可执行动作数据。这个转换改善可执行性，不能直接等同于真实摩擦、接触或电机响应已被准确修复。
05｜刚体动作遇到软物体，为什么会失效？
刚体示范可用一个 SE(3) 变换迁移：对象换了位置和朝向，末端轨迹随之移动。但毛巾皱成不同形状后，一次整体平移与旋转无法描述局部变化。
SoftMimicGen 用软物体节点状态做非刚性配准，求出源形状到目标形状的连续形变场 f，再变换末端位置和姿态：SoftMimicGen，2026-03-26
p′ = f(p)
R′ = orth(J_f(p) · R)
J_f 描述局部形变方向；orth 把变换后的矩阵重新正交化为有效旋转。因此，轨迹不仅移动位置，也会调整抓取方向。
系统按配准代价选择源片段，变换轨迹、插值衔接、在仿真执行，仅将成功尝试收入示范集。配准适配运动，执行与成功筛选再检查它是否完成任务。
论文的生成设置是每任务 1–3 条源示范，扩展到 1,000 条，覆盖 10 项任务、4 类机器人。这是数据生成规模，不是 1,000 次真机测试。软物体仿真的材料与接触误差，仍可能影响最终迁移。
图 2 · 四种实现，分别改动哪一环
MolmoBot | ||
输入 → 随机场景 抓取候选 | 处理 → 排序、碰撞检查 IK、分段规划 | 输出 RGB / 状态 / 动作 训练动作策略 |
扩大训练覆盖；不等于补齐未建模接触。 | ||
RoboRender | ||
输入 → 仿真深度、语言 机器人图像 / Mask | 处理 → 条件视频生成 按原时间轴配对 | 输出 新 RGB + 原动作 微调 π₀.₅ |
干预视觉输入；动作标签仍来自仿真轨迹。 | ||
GRAIL | ||
输入 → 已知三维场景 生成交互视频 | 处理 → 运动估计 接触约束优化 | 输出 4D 轨迹 重定向 + 跟踪 |
打通运动到机器人动作；不直接修复物理差异。 | ||
SoftMimicGen | ||
输入 → 软物体节点 少量源示范 | 处理 → 非刚性配准 位置 / 姿态变形 | 输出 仿真执行筛选 成功示范训练 |
适配不同形变；依赖软物体模型与执行验证。 |
每行从左向右读：输入 → 核心处理 → 输出。四行是独立路线，不是连续流水线。
06｜实验结果：哪些差距真正缩小了？
RoboRender 提供了较直接的视觉干预对照：使用同一批仿真轨迹，主要改变生成训练画面的方式，再评估真机任务。图 3 将这组对照与其他项目的实验条件分开展示。
图 3 · 结果与实验条件
哪些改善，已经落到了真实执行？
先看同一研究内的受控比较，再看其他结果各自支持什么。
RoboRender：视觉干预后的真机结果 同批仿真轨迹，比较视觉渲染方式；8 个任务，每任务 10 次。任务涵盖取放、关节物体与移动操作。 | ||
原始仿真画面：10% | ||
视觉 Domain Randomization：20% | ||
RoboRender：71% | ||
71% 为项目页报告的取整均值。渲染器用真实视频训练，策略从 π₀.₅ 微调；该对照检验视觉数据收益，不单独证明动力学一致。 | ||
研究 | 量化结果 | 条件与含义 |
MolmoBot | 170 万轨迹；桌面取放 79.2% | F=2；4 个真实环境 × 10 任务 × 3 次，共 120 次；无真机任务微调。 |
GRAIL v2 | 生成 >2 万序列；已见物体抓取 84%，未见 80%；爬楼 90% | Unitree G1 视觉策略。已见抓取、未见抓取与爬楼分别报告；不是同一指标。 |
SoftMimicGen | 每任务 1–3 条源示范 → 1,000 条生成示范 | 10 项任务、4 类机器人是仿真任务套件；该数量不是硬件成功率。 |
不同研究的任务、硬件和数据条件不同。SoftMimicGen 的仿真策略评测默认报告三随机种子中的最佳成功率，不能当作跨种子均值比较。 |
视觉收益、动作可执行性与示范扩展效率，分别检验，不按百分比跨项目排名。
它支持在该设置下，改善视觉训练数据能提高真实执行成功率；不能据此推断其他机器人也有相同增益。
MolmoBot 检查大规模覆盖能否转成真机操作；GRAIL 检查生成运动能否转成视觉策略；SoftMimicGen 检查形变适配能否扩展可用示范。这些结果回答不同问题，不能按成功率直接横排。
真实迁移还要检查接触、几何和执行器误差。策略部署时也必须拿得到所需观测，并保持动作单位、坐标与控制周期一致。
第 23 篇接着讲：这些不同来源的数据，进入 VLA 的 Pre-training 和 Post-training 后，分别在学什么？
参考资料
• MolmoBot 论文与实验，2026-03 修订版；官方数据说明。
https://arxiv.org/html/2603.16861
https://allenai.org/blog/molmobot-robot-manipulation
• RoboRender 论文，2026-10-07；模型参数与真机对照。
https://arxiv.org/abs/2610.09254
https://robo-render.github.io/
• GRAIL v2：方法与实验，2026-10-19。
https://arxiv.org/html/2606.05160v2
• SoftMimicGen：配准算法与实验设置，2026-03-26。
https://arxiv.org/html/2603.25725v1
资料核对日期：2026-10-28。插销入孔为机制示例，数字来自各项目公开实验，非作者实测。
