Mistral AI发布首款机器人模型-“机器人导航视觉模型”

据AI Business报道，法国人工智能初创公司Mistral推出了其首款机器人模型，这是一款视觉语言系统，旨在帮助机器人仅使用单个RGB摄像头和自然语言指令即可在陌生环境中导航。

该模型名为“Robostral Navigate”，拥有80亿个参数，使机器人能够理解口头或书面指令，例如穿过走廊或找到特定房间，从而自主完成任务。

与传统的机器人传感器系统不同，单摄像头格式不依赖于多个传感器、摄像头或激光雷达。

该公司表示，该模型在R2R-CE（连续环境下的房间到房间）验证基准测试中获得了76.6%的分数，比之前最好的单摄像头方法高出9.7个百分点，比最强的多摄像头或基于深度的系统高出4.5个百分点。

对于在现实世界环境中运行的自主机器人而言，导航仍然是最大的技术难题之一，因为现实世界环境会受到光照和障碍物变化的影响。

现有的大多数系统都依赖多个传感器来准确了解周围环境，这增加了硬件成本和部署复杂性。

许多新兴的“纯视觉”方法完全依赖于RGB（红、绿、蓝）摄像头和人工智能模型来估计深度，无需激光雷达和深度传感器，从而降低硬件成本并简化部署。然而，Omdia的机器人分析师Yueqin Shen表示，这些系统通常需要强大的计算能力和海量的训练数据，尤其是在使用多个摄像头的情况下。

Yueqin Shen认为，这家总部位于巴黎的生成式人工智能供应商使用单个标准摄像头而没有深度传感器，这代表着向前迈出了重要一步。其表示：“Mistral AI的Robostral Navigate仅使用单个RGB摄像头，无需深度传感器，便实现了突破性进展，这使该公司在以效率和可扩展性为关键的具身人工智能竞赛中占据了战略优势。Mistral以最少的硬件实现了卓越的性能，展现了一条通往高性价比机器人解决方案的引人注目的路径。”

与许多基于现有开源视觉语言模型的机器人模型不同，Mistral表示Robostral Navigate完全由公司自主研发。该模型首先使用公司自研的视觉语言模型进行初始化，以完成诸如物体定位、计数和指向等基础任务，然后再进行微调以实现导航功能。

为了训练该系统，该公司开发了一种基于仿真的数据生成流程，该流程在6000个虚拟场景中生成了大约400000条导航轨迹，使工程师能够快速迭代训练数据，而无需收集大量的现实世界机器人演示数据。

随着人工智能开发商之间为将基础模型引入物理机器人领域而展开的竞争日益激烈，此次发布扩大了Mistral AI在具身人工智能领域的布局。

包括英伟达、谷歌DeepMind和Hugging Face在内的多家公司最近都宣布了新的机器人计划，旨在使机器人更有能力理解语言并在复杂的环境中自主运行。