夜雨聆风学习资料网

ARTICLE · 1381535

DeepMind 开源机械臂插件:在仿真里分饼干,再把同一套代码跑到真机

DeepMind 开源机械臂插件:在仿真里分饼干,再把同一套代码跑到真机

一条传送带缓缓向前,两种饼干混在一起经过机械臂。机械臂要在饼干移动时认出它们,把饼干抓起来,再分别放进左右两个盒子。

Google DeepMind 最近公开了一段“饼干工厂”演示。一边是 MuJoCo 里的仿真机械臂,另一边是现实中的 I2RT YAM Pro。仿真和真机面对相同的传送带与分类任务,使用同一套任务代码。

YAM Pro 机械臂在 MuJoCo 中进行饼干分拣。图源 Google DeepMind。
YAM Pro 真机完成相同的饼干分拣任务。图源 Google DeepMind。

这段演示来自 DeepMind 11 月 17 日开源的 Robotics Antigravity Plugin。它把搭建仿真场景、识别物体、规划运动路线、测试控制程序和接入真实机械臂,整理成了一组可由 AI 调用的技能。

饼干只是一个小物体,却把机械臂开发中最麻烦的几个环节都串了起来。

一个饼干分拣任务,AI要做什么

从人的角度看,分饼干无非是看见、拿起、放下。机械臂面对的却是一串必须算清楚的问题。

摄像头先要找到饼干,再把画面里的二维位置转换成真实空间中的三维坐标。机械臂要知道目标离自己多远、位于什么高度,手爪应该从哪个方向接近。

接下来,系统需要计算每个关节转到什么角度,规划一条不会碰到传送带、桌面和盒子的路线。抓住饼干后,机械臂还要重新规划到对应盒子的动作,下降、松开,再回到下一个抓取位置。

传送带一直在动,相机和电机也会有误差。因此机械臂不能只按照最初算出的坐标伸手。手爪接近目标后,还要继续读取摄像头画面,一边移动,一边修正位置。

过去完成这样一个项目,开发者要在仿真软件、视觉算法、运动规划器和机械臂驱动之间反复切换。DeepMind 这次开源的插件,把这些环节接进了同一个 AI 工作流。

官方流程:接入并校准机械臂,感知目标、规划路线、执行动作,再在仿真中验证。图源 Google DeepMind。

官方给出的示例指令很直接:根据现场照片,在仿真中搭建一台 YAM Pro 机械臂、一条移动的传送带、两类饼干和两个盒子;让机械臂把饼干放进对应的盒子,多运行几次,并生成演示视频。

AI接到的是一个任务,然后自己编写控制程序、运行仿真并检查结果。

先在 MuJoCo 里把现场搭出来

这套插件以 MuJoCo 作为主要仿真环境。机械臂、桌面、传送带、盒子和饼干,都要先变成带有尺寸、位置、质量、碰撞范围和摩擦力的三维对象。

仿真里的物体必须遵守物理规则:手爪没有碰到饼干,饼干就不能自己移动;抓取力量不够,它就会掉下来;机械臂撞到盒子,系统也要记录为碰撞。

插件提供了场景创建、模型检查和物理审计能力。AI可以修改 MuJoCo 场景,检查物体是否悬空、碰撞体是否合理、关节和相机位置是否正确,再通过 MuJoCo Studio 查看运行结果。

官方还给出了更复杂的任务:让 SO-101 机械臂在台面上给不同形状的杂货分类,不能压坏易碎品;或者用两台 Franka Research 3 机械臂,在咖啡机前拿杯子、接咖啡,再把成品送到托盘上。

这些任务可以只在仿真中完成。没有机械臂的人,也能先用它搭建场景、编写控制程序和生成运行结果。

找到饼干,再算出机械臂怎么走

机械臂真正伸手之前,首先要弄清楚物体在哪里。

插件提供了 RGB 物体定位能力,可以通过普通彩色摄像头识别目标,再结合相机标定、桌面高度或两个不同视角,计算物体的三维位置和朝向。目前公开适配的对象包括 SO-101、I2RT YAM、ALOHA 以及 MuJoCo 中的桌面机械臂。

如果工作台和相机已经标定,系统可以把图像中的目标投射到桌面平面上。如果物体不在固定平面,机械臂也可以从两个位置拍摄,用两组画面推算空间坐标。

识别目标时可以调用 Gemini 的视觉能力;没有配置 Gemini API 时,插件也保留了基于本地颜色和对比度分割的方案,适合颜色明显、背景简单的物体。

得到坐标以后,运动规划模块开始计算路线。它会检查机械臂各个关节的活动范围、手爪宽度、周围障碍物,以及抓起饼干后物体占用的空间。

手爪接近饼干时,系统使用较短的直线动作;在桌面和盒子之间移动时,则寻找一条不会发生碰撞的关节轨迹。如果要把物体放进一个较窄的盒子,规划器还会给盒壁预留安全距离。

手爪来到目标上方后,视觉伺服模块负责最后一段校正。它持续比较目标在摄像头中的位置,让机械臂一点点对准。每完成一个阶段,系统重新读取相机和关节反馈,再决定下一段动作。

这就是同一套代码能够进入真实环境的重要前提:控制程序依赖的是摄像头和关节反馈,而不是把仿真里的固定坐标原样复制给真机。

上真机前,先故意给它制造麻烦

仿真中成功一次,无法说明控制程序足够稳定。桌面高度偏一点、摩擦力变了、相机画面出现延迟,原本顺利的抓取就可能失败。

DeepMind 为此加入了一套名为 Sim-to-Real Gauntlet 的测试工具。它会分五个等级改变仿真条件。

最初,机械臂在标准场景里执行任务。随后,测试逐渐改变物体位置、桌面高度、质量、摩擦力、关节增益、图像噪声和颜色。更高等级会在机械臂接近目标时推动物体,制造打滑,或者在放置后把物体碰开。

最后一级会模拟机械臂模型与真机不一致、摄像头画面冻结和夹爪失效。控制程序除了要在正常情况下完成任务,还要在设备出错时及时停止。

测试过程会保存机械臂动作和传感器数据。某次抓取失败后,开发者可以回到出错的时刻,修改控制程序,再从相同条件下重新运行。

这套压力测试把现实中常见的偏差提前搬进了仿真环境。真机调试仍然存在,但许多明显的碰撞、失控和定位问题,可以在机械臂通电之前先被发现。

同一套任务代码,怎么切到真机

插件通过统一的 DeviceLayer 连接仿真机械臂和真实机械臂。控制程序读取同样格式的关节状态、摄像头画面和时间戳,也通过同一套接口发送动作。

任务在 MuJoCo Playground 中使用 mode="sim" 运行;接好支持的机械臂后,再切换到 mode="real"。官方目前重点提供了 SO-101 和 I2RT YAM 的仿真与真机工作流,仓库里还包含 Franka Research 3 双臂控制、ALOHA 场景和其他 MuJoCo 机器人相关组件。

真实机械臂仍然需要完成硬件接入。以 YAM 为例,使用者要安装对应的 Python SDK、配置 CAN 总线、检查电机连接,并设置安全的初始姿态。SO-101 也需要识别电机和完成校准。

这些工作没有消失,只是被整理成了专门的技能和脚本。AI可以按顺序完成软件检查、运行测试动作、读取设备状态,再进入真正的抓取任务。

没有机械臂,也能用到一部分

这个项目可以直接安装进 Google Antigravity,也可以把其中的 Skills 单独安装到支持相关格式的工具中。插件采用 Apache 2.0 许可证。

没有机械臂时,可以从 MuJoCo 仿真开始,生成场景、编写控制器、查看机械臂轨迹并运行压力测试。基础仿真提供 CPU 安装路径;强化学习和大规模并行训练才会进一步依赖 GPU。

要进入真机阶段,则需要受支持的机械臂、摄像头以及相应的连接设备。部分基于 Gemini 的视觉定位流程还需要 API Key。机械臂运动可能伤人或损坏设备,官方要求操作人员留在设备附近,并准备可以随时切断电源的方式。

饼干工厂目前提供了仿真和真机演示,但官方没有把这个案例整理成一套下载后即可运行的完整工程。现阶段更适合根据仓库里的场景、定位、规划和真机接入模块,重新搭建自己的任务。

这次开源真正有价值的地方

MuJoCo 仿真、目标检测、运动规划和视觉伺服都不是新技术。这个项目的价值,在于让 AI 可以围绕一个具体任务调用这些工具,并把场景搭建、控制代码、仿真测试、失败排查和真机运行接到一起。

以前想做一台分拣机械臂,开发者需要先熟悉仿真环境,再寻找视觉和规划代码,最后处理不同机械臂的驱动与标定。现在可以先描述任务,让 AI 搭出第一版场景和控制程序,再由人检查模型、测试结果和真机安全。

机械臂型号、相机位置、工作台尺寸和现场安全仍然需要人来确认。真正节省下来的,是搭建第一版场景、连接不同工具、重复测试和定位故障的时间。

从仿真里的饼干,到真机真正伸手抓取,DeepMind 已经把原本分散的工程环节装进了同一个工作流。AI编程工具也开始从屏幕里的软件,走向会移动、会碰撞的真实机器。

开源地址:https://github.com/google-deepmind/robotics-antigravity-plugin

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料