ARTICLE · 1004597
物理AI的终局不是“霸权”:从Cosmos看英伟达的“Low Ego”赋能哲学
物理AI的终局不是“霸权”:从Cosmos看英伟达的“Low Ego”赋能哲学8月中旬,英伟达研究副总裁刘洺堉在访谈播客上分享了世界模型 Cosmos 3 的研发历程以及他长达 20 年的科研求索之路。他深入探讨了英伟达如何通过构建基础世界模型来赋能具身智能与物理 AI 生态,而非追求单纯的模型霸权。同时,他也揭秘了黄仁勋的“第一性原理”管理哲学以及英伟达独特的“Low Ego”企业文化。 黄仁勋刚刚访华后的一个月,在上海,英伟达(NVIDIA)研究副总裁刘洺堉(Ming-Yu Liu)接受了这次访谈。刘洺堉给人的初印象总是穿着朴素,背着一个略显陈旧的斜挎包,态度谦和。但在英伟达内部,他不像一个典型的研究者,更像是一位雷厉风行的工程领导者。黄仁勋给他的评价是:“GSD”(Getting Shit Done,把事情搞定)。 不久前,刘洺堉带领两三百人的团队刚刚发布了英伟达的世界模型 Cosmos 3。作为一名在美国求学与工作长达 20 年、加入英伟达 10 年的顶尖研究员,他身处这样一个基础设施型的巨大系统中,研究思路发生了深刻的蜕变。在这次对话中,刘洺堉分享了关于 Cosmos 的前世今生、世界模型的演进历程,以及英伟达内部鲜为人知的管理哲学。他坚信,做大模型需要“Low ego”(低自我),模型的竞争绝不应该是一场残酷的“鱿鱼游戏”。 在刘洺堉的个人主页上,写着这样一个愿景:为机器人构建一个《黑客帝国》(Matrix)。 任何 AI 的核心挑战都是“泛化”问题,即模型能否在训练数据之外的场景中表现优异。在刘洺堉看来,Cosmos 这个世界基础模型(World Foundation Model)旨在为物理世界 AI(Physical AI)提供三个核心助力:更好的数据(Better data)、更好的起始点(Better starting points)以及更好的环境(Better environments)。他将这个“更好的环境”比作《黑客帝国》——一个极度逼真的虚拟仿真环境,让机器人可以在其中不受物理法则(如时间、寿命)的限制,快速进行交互与学习。 Cosmos 项目的正式立项,与 OpenAI 发布 Sora 的时间点(2024 年 3 月)密切相关。Sora 的问世让整个团队确认了时机已到。刘洺堉与公司几位在生成式模型领域的核心人物,包括 Sanja Fidler、带 NeMo 团队的 Bryan Catanzaro 以及 Jim Fan,共同向黄仁勋写信,表达了必须在这方面做出重大投资的决心。黄仁勋迅速召集他们开会,并亲自拍板将项目命名为“Cosmos”,寓意这是一个为物理世界而非单纯内容创作而生的“宇宙”。 做完 Cosmos 1 的时候,刘洺堉曾问黄仁勋要不要继续往下做。黄仁勋随口回答:“你就做到 Cosmos 97。”这个数字虽然是随口一说,却展现了英伟达对物理 AI 领域的长期承诺。 在 Cosmos 的演进中,团队经历了从复杂到大道至简的认知飞跃。在 Cosmos 2 阶段,为了满足预测、推理、转移、策略等不同需求,刘洺堉一度规划了 22 个模型。但黄仁勋用路易威登(Louis Vuitton)的例子点醒了他:“LV 减少陈列的货品数之后,销量反而提升了。你不希望太多的东西困惑你的消费者。” 到了 2023 年底至 2024 年初开发 Cosmos 3 时,团队决定走向单一的大一统模型(Omnimodel)。Cosmos 3 将语言(Language)、视频(Video)、音频(Audio)和动作(Action)全部融合。刘洺堉认为,这四者都是描述同一个物理世界的信号。语言引入了人类的知识,视频和音频捕捉了物理运作的规律,而动作(Action)则是物理世界 AI 改变世界状态的关键,必须将其作为“一等公民”对待。 回顾 20 年的科研生涯,AI 对刘洺堉来说曾是一场“意外”。他在台北长大,本科在台湾交通大学学习当时最热门的无线通讯。直到大三,他渴望追求“从 0 到 1 的变化”,决定赴美留学。在前往马里兰大学(University of Maryland)攻读博士前,他在台湾英特尔(Intel)实习,第一次接触到了计算机视觉(CV),从此改变了轨迹。 在马里兰大学,导师 Rama Chellappa 将他带入了 AI 的大门。那是一个“什么都不 work”的传统计算机视觉时代,研究者需要掌握支持向量机(SVM)、优化算法、图模型等各种繁杂的数学工具。2012 年,AlexNet 问世,深度学习时代降临。博士毕业后加入三菱电机研究院(MERL)的第一份工作期间,刘洺堉敏锐地捕捉到了生成模型(Generative Model)的潜力,成为最早一批从事生成式对抗网络(GAN)研究的学者。 2016 年,为了获得更多 GPU 算力支持研究,刘洺堉加入了当时在 AI 领域还不太知名的英伟达。在这里,他迎来了研究生涯的高产期,主导了一系列重磅 GAN 论文(Coupled GAN, MoCoGAN, vid2vid 等)。其中最著名的当属 GauGAN(被誉为“神笔马良”)。这个由实习生 Taesung Park 等人共同开发的 SPADE 算法,原本只是一篇论文,但在公司营销天才 Greg Estes 的包装下,GauGAN 成为了 2019 年 GTC 大会上最受瞩目的明星应用。 随着研究的深入,刘洺堉也经历了计算范式的残酷变迁。在带领团队探索如何将 GAN 规模化(Scale up)的过程中,包括当时在他团队实习的 Yujia Hui 和 Jeremy Bernstein(Muon 优化器发明者)做出了海量实验,最终却得出了一个痛苦的结论:GAN 不具备可扩展性。约在 2021 年,刘洺堉果断带领团队转向了极为稳定的 Diffusion 模型。 从一个追求顶级会议 Paper 数量、想要击败所有对手(State of the art)的高自尊(High ego)研究员,成长为掌管英伟达核心基础模型、手握上万张算力卡的研究副总裁,刘洺堉的转变离不开英伟达独特的企业文化和黄仁勋的言传身教。 研究员的天性往往是追求创新和个人认可,但公司的本质是为股东和生态获利。刘洺堉在三菱电机时就曾目睹,当公司方向改变时,做“蓝天研究(Blue sky research)”的学者会被无情边缘化甚至解雇。因此在英伟达,他极度重视将研究与公司核心利益对齐(Align),并坚持把研究变成可以落地的产品。 他眼中的黄仁勋是一个“六边形战士”,既能深挖计算机架构最底层的寄存器细节,又能高屋建瓴地指导市场营销。黄仁勋极度崇尚“第一性原理(First principle)”,敢于在早期 All in 深度学习和 CUDA。 刘洺堉分享了一个深刻的细节:有一次汇报时,他抱怨竞争对手的测试设定(Setting)不公平,导致自己的模型表现落后。黄仁勋直接回了一句:“Are you a crybaby?(你是个爱哭鬼吗?)”这句话彻底打醒了他,从此他不再找借口,而是倾尽全力获取解决问题所需的条件。 此外,英伟达的组织架构极具生命力。公司坚持不裁员、不实行末位淘汰,这让员工拥有极高的安全感,敢于说真话、互相信任。公司倡导 “Mission is the boss”(使命才是真正的老板),一旦确立了像 Cosmos 这样的新目标,整个公司不同部门的人才会像有机体一样迅速对齐,朝着同一个方向发力。 当前硅谷的大模型竞争如火如荼,OpenAI 押注智能规模化(Scaling laws),甚至关闭了 Sora 团队以集中资源做代码智能体(Coding Agent)。但刘洺堉对这场竞争有着不同的终局推演。 他并不认为某一家公司能永远掌握所有核心科技并产生断层式的领先。技术人员会流动,知识会扩散。他预言,大模型的能力最终会趋同(Converge),成为一种“商品(Commodity)”。 因此,刘洺堉一再强调,大模型的竞争绝不应该是一场你死我活的“鱿鱼游戏”。当被问及 Cosmos 是否有竞争对手时,他的回答非常坦然:没有竞争对手,只有客户和生态伙伴。 无论是李飞飞的 World Labs、杨立昆(Yann LeCun)的 AMI Labs,还是各类物理 AI 创业公司,英伟达的目标都是作为赋能者(Enabler)帮助他们成功。英伟达选择将 Cosmos 的论文细节、训练框架甚至部分合成数据完全开源,正是受了 DeepSeek 极简极致与开源精神的启发。刘洺堉不担心别人做出一样的模型,他更希望整个物理 AI 的生态能因为英伟达的算力和基础模型而迅速繁荣。 他也高度评价了中国的大模型公司(如 DeepSeek、智谱 GLM、月之暗面 Kimi、MiniMax、豆包、千问等)。他观察到,美国的前沿实验室越来越封闭,很少招收实习生;而中国公司通过招收大量实习生,促成了知识的快速扩散(Diffusion),这对整个技术领域是一件好事。同时,中国强大的制造业基础,也让中国在软硬件垂直整合的机器人(如本体制造)赛道上具备极大的优势。 为了保持高强度的工作状态,每天早晨四五点,刘洺堉就会起床。他是一位中国传统武术的长期践行者,师承徐纪(其师爷为八极拳宗师李书文)。武术讲究力量从脚底贯穿全身到指尖的瞬间协调,这不仅锻炼了他的身体,也塑造了他不断自我反省、追求本质的心智。此外,他还习惯通过冰浴(Ice plunge)来加速身体恢复。 在这场技术马拉松中,刘洺堉已经放下了年轻时对“最佳论文(Best paper)”和绝对算力占有的执念。 对于未来,刘洺堉做出了一个明确的预测:物理世界 AI 的“ChatGPT 时刻”即将到来。当某一天,机器人只需看一两次人类如何折叠衣服,就能在全新的陌生环境中完美复刻这一动作(极致的泛化能力),那将是物理 AI 真正引爆经济价值的瞬间。而他希望,自己倾注心血的 Cosmos,能成为推动这一时刻到来的最强引擎。
关键要点
Cosmos 3 是为物理 AI 打造的基础世界模型,它将语言、视频、音频和动作(Action)统一融合,致力于解决物理世界的泛化难题。
物理 AI 与纯数字大语言模型目标不同,动作(Action)必须作为第一类公民,系统无需盲目追求全能的 AGI 智能,而应解决具体场景痛点。
随着技术收敛,各家底层模型的能力差异将逐渐缩小,未来的核心竞争在于模型与专属生态系统、具体产品的深度整合能力。
英伟达做模型的态度是“Low Ego”,目标不是通过竞争进行“鱿鱼游戏”式的绞杀,而是充当赋能者,帮助整个生态链上的开发者取得成功从而做大市场。
黄仁勋偏爱投资“Zero-billion-dollar business”(当下不存在但未来影响巨大的生意),并凭借极强的长期主义、马拉松思维和第一性原理进行决策。
英伟达坚持不裁员和不实行末位淘汰制,这种文化建立了员工间的深厚信任,避免了内部赛马,形成了“Mission is the boss”的有机体高效协作模式。
深度学习如同实验科学,算法固然重要,但快速迭代的能力、高质量的数据以及强大的基础设施往往才是解决问题的核心,“重剑无锋,大巧不工”。
访谈金句
经济的冒风险程度是根据钱多快从一个人的口袋流到另外一个人的口袋。那研究的冒风险程度应该是根据 idea 多快从一个人的脑袋流到另外一个人的脑袋去。
Jensen 常常在讲就是,他喜欢这种 zero-billion-dollar business。你可以是不赚钱,但当这个生意成功的时候,必须是很 influential 的,是很巨大的。
模型竞争不应该是鱿鱼游戏。这世界上要被解的问题这么多,可以提供价值的东西这么多,每个人喜欢的东西都不太一样。
如果 AI 是一个 commodity,你需要建自己的电厂吗?你每家公司都要建自己的电厂吗?看合不合乎经济效应。
Cosmos 3,世界模型
打造机器人的“黑客帝国”:Cosmos 与物理世界 AI
“黄仁勋是一个很有纪律的人,有些东西即使很重要,他也会让你 pace your steps(控制步调)。他擅长打马拉松战。”
从传统视觉到生成式 AI:一次次跨越范式的狂奔
“理查德·费曼(Richard Feynman)说过:‘If I cannot create, I cannot understand.’(如果我不能创造它,我就没有真正理解它。)当你能生成一个事物时,意味着你真正理解了它。”
“在这么多经历中,我现在越来越能掌握事情的本质。现在的解法就是重剑无锋,大巧不工。扎实地把 Data 和 Infra 做好,就能解出问题。”
巨头内的生存哲学与“六边形战士”黄仁勋
“Jensen 常常讲,他喜欢这种 zero-billion-dollar business。你可以暂时不赚钱,但当这个生意成功时,必须是非常 influential(有影响力的),规模巨大的。”
竞争终局:这不是一场“鱿鱼游戏”
“如果你是一个 Commodity,你需要每家公司都建自己的电厂吗?模型就像老中医,是一个黑盒,大家最后都会这门手艺。关键在于你拿它干什么。”
结语
“具备 Number One 的能力,但是要做出对这个世界贡献最大的事情。”