乐于分享
好东西不私藏

当AI拥有了机器人身体:英伟达ENPIRE让AI自己做物理实验

当AI拥有了机器人身体:英伟达ENPIRE让AI自己做物理实验

一图速览全文:


当AI拥有了机器人身体:英伟达ENPIRE让AI自己做实验

如果未来的机器人实验室里没有人类研究员,会发生什么?

英伟达高级研究科学家、具身智能负责人 Jim Fan 给出了一个答案。

他把8个AI coding agent和8台机器人关在一个实验室里。让它们自己设计实验、自己修改代码、自己验证结果、持续优化机器人策略。

人类研究员只负责设定目标和观察结果。


01 一个实验室,8台RTX 5090

先说硬件配置。

8个实验单元,每个单元配备:

  • 两条6自由度YAM机械臂
  • 一台Intel RealSense深度摄像头
  • 一台搭载单块NVIDIA RTX 5090显卡(32GB显存)的工作站

所有训练、推理和agent运行均在本地完成。没有依赖共享计算集群。

8台RTX 5090。32GB显存×8。这就是AI做实验的算力底座。

研究团队同时测试了三种coding agent:Codex、Claude Code和Kimi Code。

在模拟环境中,三者都能够完成任务。

但在真实机器人上的表现,存在明显差异。

其中Codex整体表现最好,达到目标成功率所需时间最短。


02 AutoResearch进入物理世界

Jim Fan把这个项目叫做”ENPIRE”。

他称之为”AutoResearch(自动科研)进入物理世界的一次尝试”。

过去几年里,自动化科研已经在数字世界取得了不少进展。

Andrej Karpathy开源的autoresearch项目,可以让AI自动完成模型训练和实验管理。

AI Scientist等系统,已经能够自动生成研究方案、运行实验并撰写论文。

但这些系统有一个共同特点:它们始终运行在数字环境之中。

代码运行完成就会得到结果。模拟器里的物理规律是确定的。一次失败可以零成本重新开始。

真实世界则完全不同。

机器人碰撞时的摩擦力会发生变化。物体位置无法被精确复原。光照条件和传感器噪声也始终在波动。

论文中提到,在模拟环境中的”Push-T”(机器人通过推动将一个T形积木移动到指定区域)任务里,三个被测试的coding agent全部成功完成了任务。

但当同样的方法被部署到真实机器人上时,其中两个agent都失败了。

模拟到现实的鸿沟,比想象中深得多。


03 给Codex一个API

为了应对真实世界的非确定性,ENPIRE整个系统被拆分为两个阶段。

第一阶段需要少量人类参与。

coding agent首先在人类指导下搭建一套”环境基础设施”:

  • 安全边界
    :规定机器人不能执行哪些危险动作
  • 自动重置
    :实验结束后恢复场景
  • 自动验证
    :判断一次操作究竟成功还是失败

这些模块一旦完成,就不再修改。而是作为后续所有实验共享的基础设施。

第二阶段则完全自主。

获得环境接口之后,coding agent开始真正意义上的”研究工作”。

它们会阅读相关论文寻找灵感。提出新的算法假设。修改训练代码。调整强化学习和行为克隆策略的超参数。部署到真实机器人上验证效果。再根据实验结果继续改进。

Jim Fan用一句话概括了这个过程:

“我们所做的只是为Codex提供了一个通往原子世界的API,其余的一切都是涌现。”


04 真实机器人任务大比拼

为了验证这一框架,研究团队设计了多个真实机器人任务。

任务
难度
要求
Push-T
中等
通过推的方式将T形积木移动到指定区域
插针
高
把大头针准确插入直径仅4毫米的孔洞
GPU插入
极高
将GPU准确插进主板插槽
剪扎带
高
拿起剪刀并剪断扎带尾部

这些任务都涉及高精度操作。

其中不少还需要实时视觉反馈和复杂接触控制。

在团队发布的演示视频中,GPU插入和剪扎带是重点展示的内容。

前者要求毫米级精度,后者要求力控和视觉的实时协同。


05 三种Agent的真实表现

研究团队测试了三种coding agent在真实机器人上的表现。

Agent
模拟环境
真实机器人
综合评价
Codex
全部成功
成功率最高
最优
Claude Code
全部成功
部分失败
中等
Kimi Code
全部成功
部分失败
中等

模拟环境中的成功不等于真实世界中的成功。

这是ENPIRE揭示的最重要的发现之一。

模拟到现实的差距,不是”调参”能弥补的。它需要一套全新的系统架构——环境基础设施、安全边界、自动验证机制。

ENPIRE的价值不在于哪个Agent赢了。而在于它证明了:给AI一个真实世界的API,它真的能学会自己做实验。


06 NVIDIA GEAR实验室的物理AI路线

ENPIRE不是孤立的项目。

它是NVIDIA GEAR(Generalist Embodied Agent Research)实验室近年来Physical AI路线的延伸。

此前GEAR团队重点关注:

  • 机器人基础模型
  • 世界模型
  • 仿真平台

而ENPIRE则进一步将attention转向机器人研发流程本身。

让机器人在真实环境中的研发逐步实现自主循环。

目前,相关技术论文已经同步上线。官方表示全部代码和系统在未来都将开源。

Jim Fan还在帖子中打趣说,希望以后团队能全员溜号去度假,实验室全靠机器人和AI自己跑,老板黄仁勋都发现不了。

玩笑归玩笑,这句话也交代了ENPIRE的一个重要目标:让机器人在真实环境中的研发逐步实现自主循环。

AutoResearch从数字世界走向物理世界,意味着什么?

意味着AI不再只是在屏幕里写代码。

意味着AI第一次拥有了真实世界中的机械臂、摄像头和实验对象。

过去,它们写下的代码,只是生成一个数字结果。

现在,它们直接驱动机器人去抓取、插入、剪切和操作真实物体。

这不是简单的”代码→执行”。这是”代码→物理世界→反馈→迭代”的闭环。

模拟环境里的零成本试错,变成了真实世界里的物理碰撞。每一次失败都有代价。每一次成功都需要重新验证。

这正是ENPIRE最值钱的地方:它把AutoResearch从”数字游戏”变成了”物理现实”。


08 给AI一个机器人身体

如果用一个词来概括ENPIRE,我会用:具身化。

给AI一个机器人身体。

让它在真实世界里碰壁、学习、迭代、进化。

模拟环境是温室。真实世界是丛林。

AI在温室里学会了思考。在丛林里学会了生存。

ENPIRE所做的,就是把AI从温室搬到丛林。

然后看它能不能活下来。


调研 & 撰写:AI(Trae) 

主导 & 审校:风若水涵 

创作时间:40分钟(调研 22 分钟 + 写作 18 分钟)

相关学习资料