夜雨聆风学习资料网

ARTICLE · 1315145

物理AI专家交流

物理AI专家交流
公众号改版了,大家可能无法及时接收到文章推送,不想错过精彩文章的可以点击公众号主页右上角的三个点,将我们的公众号设置为“星标”,便于收阅,以免错过及时的信息!

1.物理AI当前发展面临的主要瓶颈在哪些方面?最近一年有哪些典型进展?包括GPT-Ostra在内的模型是否对行业有实质性促进和利好?

答:过去一年整个物理AI或具身智能行业有三大亮点。第一,从VLA模型来看,2025年整个VLA在真机部署情况下的成功率测算大概只有60%到70%之间,今年在GPT-Ostra等部署情况下,整体成功率可能已提升到85%至90%,提升非常明显。第二,今年是具身智能或物理AI数据的元年,无论是真机、仿真还是异构数据,数据采集和数据提供方面形成了非常重要的价值。第三,今年世界模型成为主流,包括智源等国内外大厂陆续推出世界模型,世界模型已成为具身模型发展基座的主流。物理AI的瓶颈主要有三块:第一是数据,大模型要达到GPT时刻需要经过大量数据训练,数据成为模型发展最大的瓶颈;第二是泛化性,泛化性会随着技术路径收敛而提高,例如VLA结合强化学习路径能够有效提高泛化性;第三是可靠性、本体迁移能力或部署成本,因为目前具身架构或本体结构没有收敛,各家厂商结构不一样。GPT-Ostra经过测试能看到已比之前开源的大多数具身模型成功率都有提升,(各行业纪要加v:teer987)这是第一次能够通过通用多模态模型看到在具身智能物理世界中的效果,尤其在推理决策这种重算力的环节进展显著。

2.GPT-6对具身智能的实质性影响体现在哪些环节?是在任务成功率方面有帮助,还是在思维决策等某个环节产生了实质性促进?

答:实质性的点还是在于思维决策上。首先通过GPT能够知道模型让具身智能怎么去达成目的,但真正转换到成功率上来看目前并不是太高,部分Benchmark评测显示GPT-Ultra在具身任务上的成功率只有20%至30%,随着逐步交互会提高成功率,但仍受限于通用大模型目前没办法解决具身智能实体和物理世界接触的成功率问题,其提升和改进主要还是在推理、思考和决策层面。

3.行业内对OpenAI做机器人业务的布局和最近进展了解如何?

答:OpenAI在GPT-4Ultra发布之后在整个具身智能领域表现比较热烈和激进,目前现阶段更多侧重机器人大脑的研发,包括世界模型、基础模型和多模态推理。近期市场有传言其后续会做硬件,但目前消息还不确定。从了解的情况看,OpenAI在本体、机械臂和灵巧手方面向国内一些厂商有采购,比如本体向宇树、佳士客采购,机械臂向天玑、零销售、5G科技采购。在数据层面,OpenAI目前仍是行业内采购异构或无秘数据最多的公司,今年大概采购200万小时左右的数据,主要以海外供应商居多,如MaxInsight等海外数据工厂。未来布局方面,近两年内还是更侧重于机器人大脑,不排除两三年后进行硬件自研的可能性。目前主要还是用于异构数据,同时从采购动向来看也在少批量进行自我采集,用于模型的后训练。

4.世界模型和VLA在机器人具身智能中的界定和分工情况如何?

答:VLA是视觉语言和动作模型,本质是把大语言模型的语义理解映射成机器人的动作训练,加入了动作复现,把物理世界的力矩、位置等与物理实体交互的信息嵌入到动作语言、视觉语言模型中,需要大量真实数据来训练,通俗来讲叫经验学习。世界模型(WM)则是让机器或大模型来模拟物理世界的变化,可以在虚拟世界尝试多次来判断应该如何执行动作。目前世界模型是比较优的路径,它的优势在于长序列任务中拟合程度比较好,但目前看误差会比较大。因此行业内有一种观点是让世界模型取混合VLA,既能弥补长序列任务在推理决策理解上的不足,也可以弥补误差,两者其实是一个互补的关系。

5.字节跳动在物理AI方面的布局和最新进展如何?

答:字节在整个具身行业是国内走得比较领先的,目前大力发展具身模型,希望复制在视频生成模型上的成功。最新发布的GL-RL这一套模型,从模型路径来看并不先进,但在机器人大模型训练范式上有更明确的方向,是在VLA基础上采用在线真机微调的强化学习框架。相比于上一代,最新公布的论文显示成功率已提升到80%多。在监督学习和真机微调强化学习框架下,能实现机器人在具身物理交互中的纠正策略,显著提高了具身模型的泛化性和成功率。从字节物理AI布局来看,目前仍比较押注具身模型的投入,未来想向机器人厂商卖API,但最近也有消息显示字节在招募硬件方面人才,不排除未来像OpenAI一样考虑自研硬件。目前还是与国内多家机器人本体厂商包括夹爪、灵巧手和IMU都有合作。

6.字节在具身智能方面的进展是否与其在多模态视频方面的模型能力相关?这一优势是否可以迁移?

答:是的,字节很像OpenAI,在大模型领域或视频生成领域取得了不错的成绩,尤其是在多模态理解方面,这些能力在具身模型上能够得到很好的复用。再加上字节拥有海量数据和更强的算力,在国内大模型竞争格局中,字节是摊子铺得比较大、比较有希望能够做出通用具身模型的玩家。

7.当前各家厂商包括OpenAI、字节、阿里、宇树、智元等,在数据采集方面花了多少钱,采购了哪些类型的数据?

答:目前具身智能数据需求结构由三块组成:真机遥操的真机数据占行业整体数据量的10%至15%,异构数据今年已经占到40%至50%。从各家采购规模来看,字节今年已经购买了约40至50万小时的数据,全年预计可能到近百万小时,主要数据供应商来自海天瑞声;宇树已经向国内两三家数据供应商采购了近10万小时数据,今年自身也会产出近万小时真机素材数据;智元主要通过蜜蜂科技和各地政府数据素材厂采集,有将近20至30万小时真机数据和近百万小时异构或物理数据;OpenAI今年主要采购约200万小时异构数据。从数据价格来看,异构数据分有标注和未标注,整体价格在60至150元/小时,平均价约100元;物理数据价格在150至300元/小时之间,目前可能更低;分级数据普遍在500至800元/小时左右,还需结合末端和场景丰富度来看。根据推算,OpenAI今年在数据上的花费金额可能超过2至3亿元人民币,字节预计接近4000万至5000万元,宇树接近千万级数据采购规模,智元会更高。从初创公司的预算角度,智元今年在数据采集方面的投入在1至2亿元之间,明年可能翻3倍左右;宇树包括内部采集成本在内今年的整体投入约1500万元,明年可能翻2至3倍。

8.在数据需求结构中,除异构数据占40%、仿真占20%、真机直采约15%以外,剩余约25%是什么类型的数据?

答:剩余约25%可能来自物理数据或互联网数据。互联网数据不需要花钱采购,市面上有非常多开源的数据集可以直接用于训练。

9.以字节举例,其数据采购金额的估算逻辑是否按异构数据约100元/小时乘以40万小时计算,再叠加仿真、真机直采的费用?仿真数据当前行业的定价水平如何?

答:是的,字节的采购金额推算逻辑确实如此。仿真数据目前的价格普遍在30至50元/小时不等。

10.数据供应商除海天瑞声外还有哪些?异构数据定价在60至150元/小时的价格区间中,从数据质量上排序,比较好的供应商有哪些?

答:目前行业数据供应商比较分散。异构数据方面,比较有名的有海天瑞声,京东目前也可以做,但京东现在应该没有对外销售;还有光轮智能、灵初智能等都在做。海外供应商方面有MaxInsight、迈克AI等数据供应商,这些主要是异构或无秘数据的供应商,其中大部分没有上市,海天瑞声已上市。

11.行业内数据价格最贵的是哪家供应商?贵的原因是为什么?

答:之前遇到过最贵的是诺亦腾的数据,它是做动捕服的,本来就是做高精度动捕服的,因为动捕对采集精度要求比较高,数据的标注和清洗复杂程度也比较高,最贵的约1小时接近1000元人民币,用于采集高精度的动作数据。真机数据本身会比异构数据更贵,基本上500元/小时。总体来看,目前最贵的是蜜蜂和光轮智能这两家。

12.目前具身智能公司训练模型以及与本体耦合再反馈修正的大致流程是怎样的?是依赖通用标准还是不同公司有不同情况?

答:整个行业今年的流程路径比较收敛。从不同架构的预训练模型开始,预训练完成后做下一步本体适配,也就是后训练,然后再进行真机强化学习的微调。国内大厂包括字节也是这样的路径。首先,不管VLA还是世界模型,比较重要的是预训练,预训练可能有多种架构,包括端到端、MOE专家模型、分层模型等。下一块是后训练,即simtoreal,把预训练模型迁移部署到真机本体上,再根据不同细分场景做真机强化学习以及后续的训练和微调。

13.OpenAI今年采购约200万小时数据的数据来源是什么?是公开信息还是调研渠道了解到的?其采购的数据结构是异构数据还是有其他类型?

答:OpenAI采购的主要是异构数据,同时自己也在买一些本体设备去做真机素材采集。数据来源主要是有一家数据供应商叫MaxinSight,国内有实体叫海宇数维,是一家苏州的公司。据行业交流信息,OpenAI向MaxinSight采购了大概150万小时异构数据,占其采购整体的80%左右,由此推算整体约200万小时。OpenAI还在旧金山建立了实验室,配备了约100名数据采集员,主要用于采集5米或3米数据。此外,OpenAI向中国具身供应商采购了接近100台的本体设备,人形机器人体采购方预计在2到3家,机械臂目前天机是唯一供应商,灵巧手方面5G科技是唯一供应商。

14.数据采集涉及的头显、手套、IMU、夹爪等硬件传感器的价值量拆分情况如何?一套异构数据采集全套需要配置多少?不同模型训练阶段分别需要什么样的数据?

答:目前出货量最大的是双目的数据采集设备。从一个材料来看,一个光头盔需要两个RGB相机,价值量约3000至4000元一套;异构数据需要2至3个IMU,一个IMU目前价格在200至300元;头显设备价格约6000至8000元;末端夹爪单个约3000至4000元,一套可能需要两个,两个夹爪加起来约6000至8000元。目前整个异构数据采集设备便宜的约1万多元,贵的如国内蜜蜂的约5万元,均价约25000至30000元。数据手套方面,目前比较贵,国内帕西尼的约5万元,智元旗下发布的约4万元,普通数据手套约3万至5万元之间,也有万元级的。目前异构数据采集主要用夹爪和头显,不太使用手套,纯异构数据带双目头显即可,而带末端夹爪采集的数据接近UMI数据。异构与UMI的差距在于有无末端采集设备,UMI相比异构更多了位置、力矩等动态信息;数据手套主要提供触觉和力反馈信息。在预训练阶段,异构数据能够大规模低成本地用于基础模型预训练,提高预训练总量;后训练阶段仍然需要高精度的UMI或真机数据。数据手套能提供毫米级或亚毫米级高精度动态信息,包括多维力、接触状态和形变信息,可用于后训练阶段的高精度训练,但目前采集得不多,且成本较贵,大模型训练还没到那个阶段。通过模拟数据构建整个物理世界,区分模型对物理世界的理解;通过模拟或真机数据构建具身实体和物理世界交互的属性。

15.数据采集设备如头显、双目摄像头、夹爪等如何折旧,使用寿命大概多久?

答:以保修期来计算,头显目前的保修期为一年,设备的寿命大致按双倍保修估算,头显类设备约24个月左右的寿命;夹爪普遍保修期为6个月,寿命大概在一年;灵巧手包括数据手套的寿命会更短。这种头显或末端设备的保修期或质保期就在12个月左右。

16.数据采集设备如头显、夹爪、数据手套、IMU方面,市面上比较好的产品供应商有哪些?

答:头显设备方面,国内用的最多是Pico(字节旗下),性价比足够高;光轮、蜜蜂、帕西尼、灵初等数据服务商都有自研或购置的设备。从性能上来讲,蜜蜂科技会好一点。夹爪方面,蜜蜂、光轮、灵初等都有供应。数据手套方面,目前精度最高的是帕西尼感知,比较多的供应商有帕西尼感知、福莱新材、万威等,还有一些新的如智元旗下临界点也在推出新的数据手套。IMU方面,目前供量最大的是华一科技,价格约240元一个,相对份额会大一点,价格比较便宜,寿命普遍在半年到一年左右。

17.目前仿真数据是否由数据采集和标注厂商顺带做?有没有专门的仿真数据供应商?仿真数据的用途主要是什么?

答:光轮智能提供高质量仿真数据,还有一家杭州的厂商叫群核科技,原来是做3D家装仿真的,也就是酷家乐,现在也在给国内很多具身厂商提供高质量仿真数据。仿真数据主要用于提高模型训练的泛化能力。首先仿真是因为比较便宜,在没有专门的仿真数据提供商之前,厂商通过自己的算力生成仿真数据,获取简单、成本低,在模型训练上还比较可靠,尤其是在强化学习上使用了大量仿真数据来训练。

18.如何评价具身智能本体公司与大语言模型厂商之后的边界和平衡?随着大模型厂商模型能力提升、大脑能力增强,再收购或自研本体,是否会冲击宇树、智元等本体公司?本体公司未来还有哪些方面有壁垒?

答:过去三年的具身智能属于本体时代,未来三年将进入模型时代。从生态卡位来看,分成本体层、模型层和应用层。本体层方面,字节或OpenAI未来自研本体或收购本体公司对它们来说是很轻松的,本体层对初创企业尤其是宇树、智元来说,目前需要依赖绝对的出货量来占据生态卡位。大脑层是未来三至五年的关键,未来也会收敛,对数据量和算力要求高,像字节、OpenAI这类有钱有人有高算力的公司会占领先地位。本体公司肯定会有威胁,有两条路径:一是像宇树、智元依靠足够的价格优势或规模优势;二是做特别高质量或专一化的具身本体公司。本体的差距越来越小,技术越来越收敛,发展最后会变成类似制造业的概念。小鹏汽车应该是今年具身智能领域最大的一笔融资,其优势在于对制造环节有非常成熟的工艺和经验,量产能力非常强,对供应链把控相比初创企业成本优势非常明显。像小米这类汽车厂也有类似优势。大厂目前没有快速入局的原因是这个市场还没有起来,等到真正起来的时候完全可以收购一两家本体公司,利用自身优势快速规模化量产形成绝对优势。从硬件本体供应端来看,依靠大量出货来占据硬件生态位,加上硬件的优势、规模化、量产能力以及生态布局。零部件方面目前没有很明确的行业标准。

19.在具身智能零部件领域,目前是否已存在行业标准?龙头本体公司的采购是否就构成行业标准?

答:目前没有明确的行业标准,宇树的零部件自研率比较高,也没有特别有优势的供应商或供应链。未来可能朝规模化或某个厂商研制出独特零部件来获得特定垂类场景优势两个方向来发展。

20.对于数据供应商来说,采集的数据是否可以重复销售,即同一份数据卖给宇树之后是否可以再卖给OpenAI或字节?有哪些约束?

答:异构数据是可以重复销售的,只要场景够通用,但销售过程中可能需要注意一定的数据合规性。最早真机数据的销售属于客户指定需求的定制采集,数据归属权属于客户,不允许二次销售。另外,约束主要来自国内的一些数据供应商目前没有办法进行海外交易,境外主体不能直接交易数据给到境内。关于OpenAI的供应商Maxinsight在国内设有实体海宇数维,不排除其后续会给国内的一些供应商供应数据。

21.如果后续有新的模型厂商如DeepSeek、智谱等入局,明年的数据采购规模是否会进一步增加?2000至3000万小时的预测是基于目前主要参与主体还是已考虑增量参与者?

答:明年行业整体数据需求量加起来可能会在2000至3000万小时。最近DeepSeek也在筹备具身团队,这些传统模型或互联网厂商入局具身智能,对整个数据供应链的需求是成倍增加的。

Join us, 共同富裕!

点击“❤️”,以此鼓励我们坚持分享
↓↓↓

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料