《开源鸿蒙领学课堂-AI赋能系列-具身智能专题第六期》直播回顾

直播开篇即点明：具身智能 = 高级认知推理 + 物理世界交互，而仿真正是支撑这一闭环的“安全沙盒”。

其核心价值体现在四方面：

🔹低成本验证：大幅降低真机损耗与试错成本

🔹规模化训练：支持百万级强化学习迭代

🔹全场景覆盖：模拟极端、危险、难复现的真实场景

🔹标准化基准：提供可复现的测试环境，解决效果难对齐问题

但现实是：当前仿真生态高度碎片化——主流引擎（MuJoCo/PyBullet/Gazebo）API、描述格式不统一，切换成本极高；仿真与真机之间存在“鸿沟”，策略迁移效果大打折扣；更关键的是，主流仿真框架与开源鸿蒙生态基本割裂，开源鸿蒙端侧的多模态交互与分布式能力无法融入仿真流程。

这正是开源鸿蒙具身智能Simulation SIG要解决的问题。

为应对上述痛点，项目提出了开源鸿蒙 RoboSim架构：1 个基于开源鸿蒙的仿真前端控制器+N个后端仿真引擎（Gazebo/MuJoCo/PyBullet 等）。

图1：OH RoboSim 框架示意图

其技术实现聚焦以下关键能力：

🔹统一运行时抽象层：定义标准化系统调用（UIP），屏蔽不同引擎API差异；通用中间表示：兼容URDF / MJCF / SDFormat等格式，实现跨引擎场景描述统一

🔹多模态交互与局域网协同：支持开源鸿蒙端侧设备（如手机、开发板）通过多模态输入控制仿真环境，基于DDS实现多节点感知协同

🔹ROS2深度互操作：通过gRPC+DDS路由复用现有ROS2组件（如SLAM、VLA推理）

🔹端侧数据采集：自动记录状态-动作轨迹，为模仿学习/强化学习提供训练数据

图2：OH RoboSim 数据节点关系图

目前，RoboSim已完成Gazebo与MuJoCo的基础适配，合入Robot PMC Simulation SIG；并成功与曦胧机器人实现仿真→真机全链路验证——这是开源鸿蒙具身智能中首个完成“仿真训练→真机部署”闭环的案例。

RoboSim解决了“怎么操作仿真环境”，但开发者仍面临新痛点：即使运行时统一了，搭建仿真场景依然要手动处理URDF/MJCF格式转换、引擎语义差异，开发成本依然很高。

因此，项目进一步提出VSim（Virtual Simulation）——目标是实现 “构建时 + 运行时”全链路统一抽象，并原生支持自然语言生成场景。

VSim的核心是CSD+UIP双抽象：

🔹CSD（Common Scene Description）：构建时统一抽象，极简声明式中间表示，描述实体、属性与空间关系，实现“一次声明，跨引擎一键生成”。

🔹UIP（Unified Interaction Primitives）：运行时统一抽象，标准化“系统调用”，覆盖场景管理、感知、关节控制、导航等能力。

图3：VSim 设计思路图

目前，VSim已完成能力验证，后续将支持自然语言驱动场景生成（如“生成一个带货架与机械臂的仓库环境”），进一步降低开发门槛。

本次直播展示了多项实打实的落地成果。在竞赛上，本期分享嘉宾所在的上海交通大学RobotVoxel团队获得了2025开源鸿蒙竞赛训练营一等奖、2025华为机器人开发者大赛一等奖；在社区贡献上，验证了基于开源鸿蒙的仿真框架的可行性与实用性，为开源鸿蒙具身智能应用开发提供了可复用的示例。

图4：上海交通大学RobotVoxel团队亮相开源鸿蒙技术大会2025

未来，Simulation SIG将围绕生态建设、场景拓展以及社区共建等方面重点推进以下工作：

🔹完善开发文档、教程与示例demo，降低开发者入门门槛；有望推动框架进入高校相关课程

🔹丰富工业分拣、家庭服务、园区巡检等多场景的解决方案，推动更多真机落地案例（如协作机械臂、巡检机器人）

🔹开放更多贡献入口（Issue认领、PR提交、场景案例贡献），欢迎开发者参与框架开发、需求反馈。