NVIDIA物理AI新工具:智能体化开发栈,加速物理AI规模化落地

引言：物理AI开发的效率瓶颈

随着物理AI的快速发展，机器人、自动驾驶、工业数字孪生这些领域的开发，却遇到了越来越高的复杂度门槛：传统的开发流程里，开发者要自己搭建数据生成、仿真、训练、部署的全链路，不仅要花大量的时间做底层的基础设施工作，还要处理不同组件的适配问题，导致一个新的应用，往往要花数月甚至更久才能落地。

而且，随着智能体AI的兴起，软件领域已经实现了用AI智能体来自动化开发流程，但物理AI领域，却一直没能跟上这个趋势，开发者还是要手动完成大部分的工作，效率很难提升。

现在，NVIDIA终于解决了这个问题，在GTC台北和Computex上，他们发布了全新的开源物理AI技能与工具，把整个物理AI的技术栈，都做成了智能体可调用的，彻底改变了物理AI的开发模式。

1. 核心突破：把整个物理AI栈，做成智能体可用的

这次NVIDIA最核心的突破，就是把他们整个物理AI的技术栈，全部优化成了智能体可用的，把原来的库、模型、框架，都变成了智能体能直接调用的工具，让AI智能体，能自动完成整个开发流程。

这些工具覆盖了物理AI的全领域，包括：

+-NVIDIACosmos3：面向物理世界推理与生成的世界基础模型，能理解视频和文本，预测接下来会发生什么，生成对应的动作。

+-NVIDIAOmniverse：仿真与数字孪生的相关库，用来做工业的虚拟仿真。

+-NVIDIAIsaac：机器人仿真与机器人学习的平台，支撑机器人的全流程开发。

+-NVIDIAMetropolis：视觉AI的相关工具，用来做视觉相关的应用。

+-NVIDIAAlpamayo：自动驾驶的开发平台，支撑自动驾驶的研发。

+-NVIDIAJetson：边缘AI的开发平台，用来做端侧的部署。

NVIDIA的创始人兼CEO黄仁勋表示：“AI智能体正在彻底改变软件开发，而这个变革，现在也来到了物理AI领域，延伸到那些会改变交通、制造、医疗和机器人的系统里。当智能体能直接使用NVIDIA的库、模型和框架的时候，物理AI的开发速度会变得更快，让开发者能以前所未有的速度，打造未来的机器人、自动驾驶和工业系统。”

2. 技术细节：新的技能，让智能体自动完成开发流程

为了让这些工具能被智能体使用，NVIDIA推出了全新的技能，把物理AI的开发流程，变成了可重复的指令，编码智能体可以直接遵循这些指令，自动完成开发工作，包括调用什么工具、输出什么结果、怎么验证结果。

同时，他们还推出了：

+-NVIDIANemoClaw：蓝图工具，让开发者能安全地构建和部署自主智能体。

+-NVIDIAOpenShell：运行时，提供基于策略的安全和隐私治理，不管是本地还是云端的硬件，都能支持。

这些技能，能覆盖物理AI的所有领域，包括：

+-机器人与边缘AI：机器人开发者可以用这些技能，加速整个机器人的开发管线，从生成感知和mobility的训练数据，到仿真，自动化导航训练，推进机器人学习，还有Jetson端侧系统的调优部署。

+-自动驾驶：自动驾驶开发者，能用这些技能，把车队采集的数据，重建为仿真环境，大规模生成photorealistic的驾驶场景，还能运行闭环的强化学习，扩展训练和评估的覆盖范围。

+-实时视觉AI智能体：自动化检测和视频智能的开发者，能用这些技能生成合成训练数据，微调模型，自动化标注，还能构建视频AI智能体，用来搜索、总结和分析实时或者录制的视频。

+-工业AI：工业软件开发者，能把工程数据，转化为CAD资产，用来做数字孪生的仿真，优化大型的OpenUSD场景，不用手动的配置。

+-医疗：医疗团队，能引导智能体，创建医院环境的数字孪生，做sim-to-real的数据生成，还有软件在环的策略测试，在部署到临床环境之前，完成所有的验证。

这些技能还可以组合，集成到更大的智能体系统里，让开发者能编排和自动化复杂的工作流，比如数据生成、仿真、优化、推理调优、持续评估这些，全部都能自动化完成。

3. 效果验证：已经有大量企业落地，效率提升显著

这些新的工具，已经有大量的企业在使用了，而且带来了非常显著的效率提升：

机器人领域的落地

1XTechnologies、AgileRobots、Agility、FieldAI、HexagonRobotics、NEURARobotics、SkildAI、UniversalRobots这些机器人公司，都已经在用NVIDIA的智能体就绪的物理AI栈了。

比如，用了IsaacGR00T的更新之后，端到端的工作流，几个小时就能搭建完成，而之前要花几周的时间，而且它支持全模态的输入输出，视频、传感器、文本、声音都能支持。

还有Foxconn和Compal，在用IsaacforHealthcare来加速医院机器人的开发，Compal正在推进PolyMedX机器人的开发，打造医院级的编排平台，集成仿真、AI和真实的运营；Foxconn则在把Nurabot扩展到多个医院和长期护理的环境里，还推出了新的scrubnurse协作机器人，用来优化手术室的工作流。

制造领域的效率提升

在电子制造领域，TSMC和Pegatron都在用这些工具来微调视觉检测模型：

+-Pegatron用DefectImageGeneration技能生成的合成数据，把模型的训练和部署时间，降低了67%。

+-DeltaElectronics用同样的技能，生成了合成的缺陷数据，把金属汇流排的多余焊料的检测率，提升了17%。

+-Inventec集成了这个技能，打造了自己的观测智能体检测管线，把笔记本chassis制造的缺陷数据收集工作，减少了30%。

+-Foxconn用这个技能，把制造的良率，提升了大约3%，更早地发现错误，提升了效率。

还有SKhynix，正在用Omniverse打造半导体fab的数字孪生，还在验证NVIDIAAgentToolkit，用来做制造专属的物理AI。

自动驾驶领域的落地

自动驾驶的开发者，比如LiAuto、Afari、[DeepRoute.ai](DeepRoute.ai)，都在用OmniverseNuRec模型，做神经场景重建和渲染，他们已经生成了超过1000个重建，每天能做超过30万个渲染和仿真。

还有Foxconn、VinFast、Uber、HUMAIN，都加入了NVIDIADRIVEHyperion生态，用来开发和部署SAELevel4的robotaxi。

4. 人形机器人的新突破：开源参考设计，降低开发门槛

除了开发工具，NVIDIA还发布了全新的NVIDIAIsaacGR00TReferenceHumanoidRobot，一个开源的人形机器人参考设计，基于Unitree的H2底盘，还有JetsonThor平台，用来降低人形机器人的开发门槛，让更多的开发者能参与进来。

这个参考设计，是模块化的，开发者可以用整个平台，也可以把部分能力，集成到自己的开发管线里，不用再重复搭建基础设施，就能快速推进人形机器人的研发。

它的核心配置包括：

+-UnitreeH2人形底盘：1.8米高，68公斤重，31个自由度，支持人类级别的测试。

+-双SharpaWave触觉五指手：22个自由度，让整个机器人的自由度达到了75个，支持精细的操作。

+-多视角感知：头部的立体相机，140度水平、102度垂直的视野，还有手腕的相机，用来做近距离的操作，还有IMU用来做运动跟踪。

+-全身控制：手臂扭矩最高120牛米，腿部扭矩最高360牛米，额定手臂payload7公斤，峰值15公斤，支持更强的举升和伸展能力。

+-JetsonAGXThorT5000端侧计算：BlackwellGPU，2070FP4teraflops的AI性能，14核ArmCPU，128GB的统一内存，支持实时的传感器处理和机器人推理。

+-完整的连接和电池：支持以太网、Wi-Fi6、蓝牙5.2，还有3小时的续航。

现在，Ai2、ETHZurich、斯坦福机器人中心、UCSanDiego的先进机器人与控制实验室，这些顶尖的研究机构，都计划用这个参考设计，来推进人形机器人的研究，这个设计，会在2026年底，由Unitree正式发布。

5. 行业意义：智能体化，物理AI开发的新范式

这次NVIDIA的这些工具，彻底改变了物理AI的开发模式：过去，物理AI的开发者，要自己搭建整个开发管线，从数据生成，到仿真，到训练，到部署，每个环节都要手动完成，不仅慢，而且复杂度很高，门槛也很高，只有大团队才能做。

而现在，智能体化的开发栈，把这些工作，都变成了AI智能体能自动完成的流程，开发者只需要专注在自己的核心应用上，不用再花时间做底层的基础设施工作，这就把开发的时间，从数月，压缩到了数天，甚至数小时，门槛也大幅降低，小团队、学生团队，都能快速开发出自己的物理AI应用。

而且，开源的人形机器人参考设计，也让更多的开发者，能参与到人形机器人的研发里，不用再花大成本去做自己的硬件平台，这会加速整个行业的创新，让人形机器人的落地，变得更快。

6. 未来展望：物理AI的规模化落地新窗口

现在，这些物理AI智能体工具，已经正式发布了，开发者可以通过GitHub和[skills.sh](skills.sh)来使用，而且，还有很多的云服务商，比如Microsoft、CoreWeave、Nebius，都在集成这些工具，让开发者能更方便地规模化使用。

接下来，整个物理AI行业，都会进入一个新的阶段：智能体化的开发，会成为新的常态，开发者能以前所未有的速度，开发出新的机器人、自动驾驶、工业AI应用，这会加速整个物理AI的规模化落地，让我们更快地迎来，这些技术走进我们生活的时代。

结语

NVIDIA这次的物理AI新工具，是整个物理AI领域的一个全新里程碑：它第一次，把整个物理AI的技术栈，都做成了智能体可调用的，让AI智能体，能自动完成整个开发流程，把开发的时间，从数周压缩到了数小时，同时，开源的人形机器人参考设计，也大幅降低了行业的开发门槛。

这不仅解决了物理AI开发的效率瓶颈，也为整个行业，打开了全新的创新窗口，未来，我们会看到，越来越多的开发者，用这些工具，快速开发出新的应用，加速物理AI的规模化落地，让机器人、自动驾驶、工业AI这些技术，更快地走进我们的生活。