中国AI首次登顶Nature:Emu3用＂接龙游戏＂统一了多模态世界

2024年2月，智源研究院做了一个在当时看来相当"反潮流"的决定——

放弃当时正火的扩散模型路线，押注自回归架构，用"预测下一个词元"这一招，去统一处理文本、图像和视频。

当时，Sora刚用扩散模型震撼了全世界，DiT架构风头无两。没人相信"预测下一个词"这种ChatGPT时代的"老办法"，能搞定图像和视频这种连续、高维的视觉信号。

两年后，这篇论文登上了《自然》杂志正刊。

这是中国科研机构主导的大模型成果第一次发表在Nature上。

它证明了一件事：多模态AI或许不需要为每种模态准备一套专门的"武器"，一个"预测下一个词元"的朴素思想，可能就够了。

先说说背景。

过去几年，AI处理不同类型的信息，一直是"各找各妈"：

• ✓
  理解文字？用GPT那种自回归模型，一个词一个词往后预测
• ✓
  生成图片？用扩散模型，从噪声中逐渐"显影"
• ✓
  理解图像？用CLIP编码器配合大语言模型，一个负责"看"，一个负责"想"

这三种路线，各自有成熟的技术体系，各自有庞大的学术和产业生态。

但问题也很明显：你用三套系统去做三件事，它们之间很难真正"融会贯通"。就像一个团队里有三个专家，各管一摊，但让他们合作完成一个跨模态任务——比如"根据一段文字描述生成一张图，然后解释这张图为什么长这样"——协调成本就很高。

能不能用一套统一的框架，同时搞定理解、生成、跨模态转换？

这个问题，困扰了行业很多年。

智源团队的答案很朴素——

不管你是文字、图片还是视频，在我这儿全都是"词元"（Token）。我的任务只有一个：预测下一个词元长什么样。

具体怎么做？三步：

第一步：把所有东西翻译成同一种语言

Emu3设计了一个强大的视觉Tokenizer，能把图片和视频压缩成离散的"视觉词元"。文字本身就是词元。这样一来，文本、图像、视频都被放进了同一个"词元表"里，不再各说各话。

第二步：用同一个大脑处理所有信息

Emu3的主体就是一个标准的Decoder-only Transformer，跟你熟悉的Llama、GPT是同一类架构。关键在于——它没有独立的视觉编码器。

之前流行的组合式模型（比如LLaVA）需要把CLIP视觉编码器和语言模型"粘"在一起，本质上是两个模块的拼接。而Emu3把所有模态的数据直接输入同一个Transformer，不分你我。

第三步：三阶段训练，越学越精

• ✓
  预训练：在海量混合多模态数据上做"预测下一个词元"的基础训练
• ✓
  质量微调：用高质量数据提升输出质量
• ✓
  直接偏好优化：用人类偏好数据对齐，让生成的内容更符合人的审美和意图

简单来说，Emu3就是把"预测下一个词元"这一招从语言领域复制到了图像和视频领域，结果发现——一样好使。

《自然》愿意刊登这篇论文，核心原因是：Emu3在实际测试中，确实能和那些"专事专用"的模型掰手腕。

来看看数据：

图像生成：在MSCOCO等标准基准上，Emu3的表现超过了SD1.5、SDXL等当时主流的扩散模型，接近DALL-E 3和FLUX.1的水平。不靠扩散模型那一套，纯用自回归，也能画出好图。

视觉语言理解：在12个主流基准测试上的平均得分达到62.1，略高于LLaVA-1.6。值得关注的是，它没有依赖CLIP编码器，纯靠自回归就做到了相近的效果。

视频生成：在VBench评测中得分81，超过Open-Sora 1.2等视频扩散模型。它像"写小说"一样，一个词元一个词元地"写"出视频的下一帧。

更关键的是，研究人员发现了一个信号：

Emu3的性能随着模型大小和训练数据量的增加，呈现出清晰且可预测的幂律缩放行为（Scaling Law）。

这意味着，这条路的前景是明确的——给它更多算力和数据，它能继续变强。

你可能想问：不就是换了个方法吗？至于登上Nature？

这里面的意义，比"换个方法"要更深一层。

意义一：多模态融合有了更简洁的路径

以前做多模态，像拼乐高——视觉模块、语言模块、生成模块各买各的，然后想办法粘在一起。Emu3展示了另一种可能：你不需要那么多模块，一个Transformer加一个预测目标就够了。

《自然》编辑的点评说得很到位：这项成果"对构建可扩展、统一的多模态智能系统具有重要意义"。

意义二：重新审视"视觉编码器必不可少"的假设

长期以来，行业默认：做多模态，必须配一个预训练的视觉编码器。Emu3的消融实验提供了一个值得思考的数据点：

当从头开始训练时，一个Decoder-only架构的性能，能够达到甚至略优于"视觉编码器+语言解码器"的组合。

这意味着，在足够大的数据和模型规模下，一个统一的Transformer或许可以自主学习跨模态对齐，不一定需要人为地"粘合"两个模块。

这并不意味着组合式架构"错了"——它仍然有效，并且在很多场景下是务实的选择。但Emu3指出了一条不同的、值得探索的方向。

意义三：给"世界模型"铺了一条路

这可能才是最深层的意义。

智源研究院理事长黄铁军说了一段值得琢磨的话：

所有智能系统本质上都在做一件事：用历史推测未来。智能的最基本功能，就是在不确定环境中，提高做出合理预期的概率。

Emu3的后续版本Emu3.5，已经实现了从"预测下一个词元"到"预测下一个状态"的跃迁，开始学习世界随时间演化的统计规律。

这意味着它不只是"猜下一个字"，而是在尝试理解物理世界中的因果逻辑。这正是"世界模型"的核心目标——而世界模型，被广泛认为是通向更高层次智能的关键路径之一。

Emu3立项于2024年2月。当时扩散模型正当红，Sora刚发布，全球AI圈都在押注扩散路线。

智源团队做了一个在当时看来不太合群的选择：

放弃扩散，押注自回归。

智源研究院院长王仲远说了一句很直白的话："越是极简的架构，可能越具备强大的生产力，对产业的价值也越大。"

前OpenAI政策主管、现Anthropic联合创始人杰克·克拉克当时评价Emu3："不依赖花哨的架构技巧，仅用最基础的预测下一个token的逻辑，这种'简单'被视为具备强大的扩展潜力。"

这个"简单"背后，是一个判断：Transformer的"预测下一个词元"这个目标函数，本身就足够强大，不需要为每个模态单独设计一套训练目标。

Emu3登上《自然》，不只是一篇论文的发表。

它标志着中国在多模态AI最底层的技术路线上，拿出了一份让国际学术界认可的工作——不是简单的"追赶"或"改进"，而是提出了一条与主流路线并行的、有完整实验证据支撑的技术路径。

它想传递的信息其实很朴素：

GPT那条"预测下一个词元"的路，不仅能通向更强的语言模型，也可能通向能理解图像、视频乃至物理世界的通用智能。

黄铁军说了一句话，我用作结尾：

** 预测下一个这一看似朴素的思想，本身蕴含着构建通用智能的基因。**

从GPT到Emu3，这条路走了8年。

而Emu3告诉我们：这条路，还远没到头。