夜雨聆风你有没有发现，这几年AI圈的新名词多得让人头晕？“大语言模型”、“世界模型”、“多模态模型”、“VLA模型”……好像隔三差五就冒出一个新词。
它们到底是什么意思？彼此又是什么关系？今天这篇文章，就用最通俗的语言，帮你把这些模型的“家族关系”一次理清。
一、家族的“老大”：大语言模型
代表：ChatGPT、Claude、DeepSeek、文心一言、通义千问
这是我们最熟悉的AI类型。它的看家本领是处理文字——你输入一段话，它输出一段话。看起来是在和你聊天，本质上是在做一件事：根据上文，预测下一个字最可能是什么。
背后的核心技术叫Transformer，工作流程大致是这样的：
第一步，拆积木。 你的话会被切成AI的最小处理单元，叫Token（词元）。你可以把它理解为AI的“语言积木”。
第二步，标坐标。 每个Token被转换成一串数字，也就是语义向量。它在高维语义空间里给每块积木标了一个专属坐标。语义越相近的词，坐标越靠近。
第三步，看关系。 通过“注意力机制”，模型计算出句子中每个词和其他所有词的关系。比如“苹果”这个词，在“我爱吃苹果”里会和“吃”关系紧密，在“我用苹果发消息”里则和“发消息”更近。
纯文本版的大语言模型，就像一个天生目盲的天才诗人——从未见过光，却能写出最动人的诗篇。它所有的知识和能力，都来自海量文本的学习。
不过要注意，这是理解大语言模型原理的最佳起点。 现在很多主流模型已经进化了，装上了“眼睛”和“耳朵”，能看图、识物、辨音。它们已经不完全是“盲人”了，而是跨入了我们接下来要讲的新阶段。
---
二、给“老大”装上眼睛：多模态模型
代表：GPT-4V、Gemini、豆包·视觉
既然大语言模型能处理文字，那让它也能“看懂”图片呢？
这就是多模态模型。“模态”就是信息的载体形式——文字是一种模态，图像是另一种，语音、视频也是。多模态模型能同时处理多种模态的信息。
问题是，图片没有“字”，大语言模型根本读不懂。
科学家的办法很巧妙：先把你上传的照片切成很多小方块，每个小方块就像一篇文章里的一个“字”。然后，用一个专门的“图像编码器”把每个小方块变成一串向量。最后，通过一个“翻译层”，把这些图像向量映射到文字所在的那个语义空间。
一张猫的照片，和“猫”这个文字，在AI内部的高维坐标上就会重合在一起。模型就这样“看懂”了你的照片。
多模态模型本质上，还是那个大语言模型，只是多了一个能把视觉翻译成它懂的语言的模块。
---
三、从“说”到“做”：世界模型登场
代表：特斯拉FSD、华为ADS、Momenta
如果说大语言模型是“读万卷书”，那世界模型就是“行万里路”。前者活在文字构建的信息世界里，后者活在物理规律支配的真实世界里。
世界模型要解决的核心问题是：如何感知、预测并作用于真实的物理环境。
以自动驾驶为例。它的AI接收的不是文字Token，而是摄像头、激光雷达等传感器实时传来的物理数据流。它的任务也不是写文章，而是判断“那个行人接下来3秒会走到哪里”，并据此做出安全决策。
它和大语言模型的核心区别在于“积木”不同。
大语言模型的积木是Token，带有“苹果”、“吃”这样的语义标签。世界模型的积木，记录的则是纯粹的物理属性。
不同技术方案使用的“积木”有所区别。基于激光雷达的方案，常把3D空间切成网格，叫“体素”，记录“这里有没有东西、移动速度多快”。而纯视觉方案，则直接把2D图像切成小块，让Transformer自己从这些图像块序列中，学习推断3D空间和物理规律，它内部形成的是隐式的时空特征表示，不一定显式构建体素网格。
无论哪种方案，它的积木都不带任何语言标签。它不关心前方物体叫“行人”还是“骑车的人”，只关心那个占据空间的物体下一秒会移动到哪里、会不会和自己发生碰撞。
业界权威、图灵奖得主杨立昆是“世界模型”理念最积极的倡导者。他构想的JEPA架构，核心就是让AI不再学习像素级细节，而是学习世界的抽象表征和物理规律。这与世界模型追求的“物理直觉”方向完全一致。
---
四、云端和车端的分工：一个重要的共同前提
在深入技术细节之前，有一个所有公司都遵循的基本框架，必须先讲清楚。
无论是哪家自动驾驶公司，云端都有一个超级大模型在“学习理解世界”。
它用海量驾驶数据不断训练自己，精进对物理规律、交通规则、人类驾驶习惯的理解。但它从不直接指挥方向盘——因为它太大、太慢，根本无法做到毫秒级响应。
真正开车的是车端。
车端跑的是一个被压缩过的“小模型”。它接收云端大模型“教”给它的能力，用学会的物理直觉来实时驾驶。
这个“云教-端开”的基本框架，是行业的共同范式。 特斯拉如此，华为如此，Momenta如此，Wayve也是如此。
---
五、真正的分歧：云端学习时，要不要借助“语言”？
既然框架一样，分歧在哪？
答案藏在一个极窄却极关键的岔路口上：云端那个大模型，在学习理解世界的时候，要不要借助“语言”这个工具？
这就是为什么所有争论最终都绕不开一个字母：L。由此分化出两条截然不同的技术路线。
路线A：借助语言来学（VLA路线）
· 代表公司：Wayve是这条路线最坚定的践行者，理想、小鹏等也在积极探索。
· 核心理念：语言是人类凝练的常识，为什么不用？让云端大模型同时学习驾驶视频和语言描述，它就能更聪明地理解世界。比如，它不光“看”到前方有双闪灯在闪，还能理解“双闪可能意味着抛锚，要警惕突然开门”。这种常识推理能力，对解决无穷无尽的长尾场景极有价值。
· 他们的话术是“世界模型+VLA”，因为他们确实在云端把语言和视觉融合起来了。
路线B：不借助语言，直接啃原始物理数据（纯粹世界模型路线）
· 代表公司：Momenta是最坚定的坚持者，特斯拉也偏向这一侧。
· 核心理念：Momenta曹旭东的逻辑是——语言是对物理世界的抽象和简化。你说“前方有障碍物”，这四个字丢失了障碍物的精确尺寸、运动趋势等海量关键信息。他认为，最优的驾驶决策，必须基于完整的、未经语言“过滤”的原始传感器数据来训练。模型应该直接从像素和点云中，自己悟出什么是危险。
· 所以Momenta的叙事里几乎不碰“语言”，只讲数据、物理直觉、端到端。云端大模型从头到尾都在和原始物理数据打交道，不用任何语言标签作为理解世界的辅助。
两种路线，一个共同点：车端都是去语言的。
务必注意，无论哪条路线，最终部署到车上的模型，其核心决策链路都是去语言的。因为驾驶需要毫秒级响应，容不得任何语言带来的延迟和不确定性。两条路线的车端，都是纯粹的“视觉到动作”映射，靠物理直觉开车。
区别只在于：这个直觉是怎么被“教”出来的。路线A的教练会配上解说，路线B的教练从头到尾一言不发，只让你自己感受。
---
六、出了驾驶舱，语言就成了标配：VLA在机器人领域
有一个关键补充，能让整个图景更加完整。
“要不要L”这个争论，只在自动驾驶这个特殊领域存在。一旦走出驾驶舱，进入机器人领域，局面完全不同——VLA几乎是行业公认的主流路线。
这背后是任务性质的根本差异。
第一，任务从“单一”变成“无限”。 自动驾驶的任务是固定的：从A到B，安全第一。但机器人的任务是开放的：“整理房间”、“做个番茄炒蛋”、“把那个红色工具箱拿来”。这些任务千变万化，无法预先编程穷举。这时，语言就成了最高效的任务定义和泛化接口。
第二，安全从“零容忍”变成“有容错”。 在公共道路上，任何决策失误都可能致命。而在家庭或工厂的受控环境中，机器人杯子没放稳可以重来，理解错了你可以纠正它。这种容错空间，让语言带来的巨大便利变得可以接受。
第三，从“沉默工具”变成“协作伙伴”。 你和车是指令关系，不需要交流。但机器人天然需要人机协作。你可能会说“小心，那个杯子是热水”，或者“刚才没做好，再往左挪一点”。这种模糊、有上下文的自然语言指令，需要真正的语言理解和多轮对话能力。没有L，就做不到真正的协作。
从业界实践来看，谷歌的RT-2和PaLM-E、斯坦福的ALOHA、李飞飞团队的VIMA等工作，均以VLA为核心范式。几乎所有具身智能公司的技术路线图都包含VLA。称其为“共识”是准确的。
---
七、人形机器人的“积木”：一个更复杂的工具箱
讲到这里，有一个之前可能被简化的概念需要展开：人形机器人的“积木”究竟是什么？
前面提到，自动驾驶世界模型的积木主要是体素或图像Patch。但人形机器人要做的远比开车复杂——既要移动，又要精细操控物体，还得理解人类指令。这决定了它的“积木”不是一个单一的品种，而是一个根据任务灵活切换的复合工具箱。
第一层，模仿学习用“视觉Token”。 机器人学习“叠衣服”这类动作时，会把摄像头看到的2D图像切成小块，变成一串向量。这能最方便地从人类示范视频里直接模仿动作。这是当前具身智能最热门的学习范式之一。
第二层，精细操作靠“点云”和“隐式表面”。 当机器人要抓取杯子时，仅靠2D图像不够。它需要把物体表面变成成千上万个带精确坐标的“空间点”，或者用神经辐射场、高斯泼溅这类技术，用一个神经网络直接编码连续的三维形状。这才能回答“把手在哪里、曲率适不适合抓取”这类几何问题。
第三层，移动导航用“体素”。 规划全身运动路径时，机器人会把周围环境切成三维网格，每个格子表示“这里有没有障碍”。这和自动驾驶中激光雷达方案的体素方法原理相通，因为从A到B的移动问题，本质上与开车类似，用体素做占用网格是非常成熟的方案。
第四层，终极统一方向：用Token表达一切。 在最前沿的VLA系统里，无论摄像头图像、语言指令还是机器人动作，都被统一转换成Token。让一个大模型去学习所有这些Token之间的关系。这是追求通用智能的最高形态，也是业界努力的方向。
所以，人形机器人的世界模型是一个多感官融合的复合模型。 它不像自动驾驶那样主要依赖单一的空间表示，而是根据任务需要灵活切换——模仿时用二维视觉Token，操作时调用三维点云或隐式表面，导航时切换到体素，而在统一的VLA大脑里，一切都可能最终抽象为通用Token。
---
八、未来的底座：6G与无处不在的AI
到这里，你可能会问：如果机器人要靠云端大脑做语言理解，响应速度会不会很慢？
这正是6G网络要解决的核心问题。需要说明的是，6G目前仍处于标准制定和关键技术验证阶段，预计2030年前后才会商用部署。但它的设计目标，恰好回应了我们讨论的核心难题。
6G的设计理念和5G完全不同。它的目标不是简单地让网速变快，而是让每一个基站都成为一个AI算力中心，同时把延迟降到0.1毫秒——比人神经反射还快。
按照这一愿景，在6G时代，当你对机器人说“倒杯水”，这条指令会被最近的基站直接处理，在本地完成语义理解，然后立刻发给机器人执行。整个过程无需绕到千里之外的云端。
算力像水电一样无处不在，即取即用。云端和本地的界限，到那时会被彻底模糊。
---
结语：一张“家族图谱”，看清AI的未来
最后，让我们把所有这些模型放回它们应有的位置。
大语言模型，是文字的巨人。它精通人类所有的知识和表达，但纯文本版的它，是物理世界的盲人。理解它，是理解一切更高级模型的最佳起点。
多模态模型，是给大语言模型装上了眼睛和耳朵。它打通了文字、图像、声音之间的壁垒，让AI开始拥有完整的“感官”。
世界模型，是AI的身体和物理直觉。它不一定会说话，但能像最顶级的赛车手一样，在复杂的物理环境中做出精准的本能反应。它是AI从“信息世界”走向“物理世界”的关键一步。
VLA模型，是一场试图让语言和身体融合的实验。在自动驾驶领域，它充满争议；但在机器人领域，它是公认的未来方向。
它们不是孤立的技术，而是一张相互关联的图谱。理解它们各自的边界和彼此的关系，才能真正看懂AI今天站在哪里，明天会走向何方。
