夜雨聆风
多模态AI技术全景:架构、训练与模型实战
从VLM流水线到Janus统一架构，一篇读懂多模态AI技术地图
字数：约3206字 | 阅读时间：约8分钟
摘要：多模态AI已从”外挂视觉模块”进化为原生多模态架构。本文拆解三种主流技术路径（VLM流水线、Janus统一架构、原生多模态）、三阶段训练方法、四大开源模型对比，以及跨模态对齐、幻觉和评估碎片化三大核心挑战。附模型选型建议。
一、多模态AI：不只是”让AI看图”
DeepSeek V4视觉模式灰度测试，让”多模态”再次刷屏。但多模态AI远不只是”让模型看图说话”——它要求单一模型同时处理文本、图像、音频、视频，学习跨模态的联合语义表示。
核心的技术挑战叫跨模态对齐：让”狗”这个词、一张狗的图片、一声狗叫映射到同一个语义空间里。做到了，模型就能真正”理解”而非”识别”。
为什么现在是拐点？三个信号同时出现：
DeepSeek V4视觉模式灰度测试、GPT-5原生多模态、Gemini 3.1全面多模态——前沿模型全部押注多模态
Decoder-only + MoE架构让多模态的成本可控——DeepSeek-VL2用4.5B激活参数匹配8B模型的效果
开源模型生态成熟——LLaVA、InternVL、Qwen-VL等提供了可自部署的方案
2024-2026年发生了关键的架构转变：从”外挂视觉模块”到”原生多模态”。理解这个转变，需要看清楚三种主流的技术路径。
二、三种架构路径
路径一：VLM经典流水线（LLaVA范式）
这是当前最主流、开源生态最成熟的架构。代表模型：LLaVA、InternVL、Qwen-VL、DeepSeek-VL2。
三个核心组件：
视觉编码器：将原始像素转换为高维特征向量。当前主流选择是SigLIP（2023年ICCV发表，用sigmoid对比损失替代CLIP的softmax损失，训练更稳定、多语言支持更好）。规模从400M到6B参数不等。
投影层：桥接视觉编码器的输出空间和LLM的嵌入空间。最常见的设计是一个两层MLP。DeepSeek-VL2在此基础上加了像素洗牌操作——2×2压缩，将每个27×27的块压缩为14×14=196个token，大幅减少LLM需要处理的视觉token数量。
LLM解码器：标准的decoder-only Transformer，将视觉token和文本token拼接后自回归输出。可以是稠密模型（LLaMA、Qwen），也可以是MoE模型（DeepSeekMoE）。
数据流：图像 → 视觉编码器 → 特征向量 → 投影层 → 视觉token → [拼接文本token] → LLM → 文本输出。
这条路径的优势是简洁——可以复用预训练好的LLM，训练成本相对低。局限是理解和生成分离——模型能看图，但不能画图。
路径二：统一理解-生成架构（Janus范式）
DeepSeek Janus系列走了一条不同的路。核心创新是解耦视觉编码。
理解路径：图像 → SigLIP提取语义特征 → 理解适配器（2层MLP）→ 共享Transformer
生成路径：图像 → VQ分词器转为离散token → 生成适配器（2层MLP）→ 同一个Transformer
两条路径共享一个自回归Transformer（DeepSeek-LLM），但使用不同的视觉编码器。理解用SigLIP（擅长语义提取），生成用VQ分词器（擅长像素级重建）。
为什么不能共用一个编码器？因为理解图像需要的是语义级表示（”这是一只金毛犬”），生成图像需要的是像素级表示（每个像素的颜色值）。Janus的研究发现，强行让一个编码器同时做两件事，两边的效果都会下降。
Janus-Pro-7B的效果证明了这条路的可行性：
GenEval 0.80（文本生成图像），超过DALL-E 3的0.67和SD3的0.74
MMBench 79.2（多模态理解）
一个模型同时搞定理解和生成
路径三：原生多模态（GPT-5/Gemini范式）
最前沿但架构未公开。已知信息是：所有模态通过统一的Transformer处理，每个token可以代表文本、图像、音频或视频中的任何一种。需要为每种模态设计专门的tokenizer。
GPT-5（2025年8月发布）官方描述为”native multimodal architecture”——单一统一模型处理所有模态。Gemini从第一代就设计为原生多模态。
这条路径性能最强，但目前只有闭源模型实现。
三、训练方法：三阶段流水线
大多数现代VLM遵循标准的三阶段训练流程，DeepSeek-VL2是典型代表。
Stage 1：视觉-语言对齐
目标：训练投影层，让预训练的视觉编码器和LLM”说同一种语言”。
数据：约120万图文对（如ShareGPT4V的描述和对话数据）。关键操作：LLM参数冻结，只更新投影层。这个阶段很短，相当于让两个本来互不理解的系统学会沟通。
Stage 2：视觉-语言预训练
目标：建立全面的联合视觉-语言知识。
数据：约800B token的混合数据（70%视觉语言 + 30%纯文本）。关键操作：全参数解冻——视觉编码器、投影层、LLM全部更新。数据类型涵盖交错图文、图像描述、OCR、VQA、视觉定位、网页转代码等。
这是最消耗资源的阶段。DeepSeek-VL2在16-42个节点（每节点8张A100）上训练7-14天。
Stage 3：指令微调（SFT）
目标：让模型学会听懂人的指令、进行对话。
数据：精选的高质量QA对，覆盖通用VQA、OCR/文档理解、表格/图表理解、推理、视觉定位等。关键操作：只监督回答部分，问题和系统提示做mask处理。
Janus-Pro在这个阶段的混合比例是多模态:文本:图像生成 ≈ 5:1:4。
训练效率的四个关键创新
|
技术 |
原理 |
效果 |
|
动态分块（Dynamic Tiling） |
按图片宽高比动态分块，而非固定分辨率 |
高分辨率图片不会让计算量爆炸 |
|
像素洗牌（Pixel Shuffle） |
2×2压缩，每块27×27→14×14=196 token |
视觉token数从729降到196 |
|
多头潜在注意力（MLA） |
压缩KV-cache为潜在向量 |
显存占用大幅降低，推理吞吐提升 |
|
MoE稀疏计算 |
每token只激活top-6/64个专家 |
4.5B激活参数匹配8B稠密模型 |
这四个创新组合起来，让DeepSeek-VL2用不到5B的激活参数，在多个基准上追平甚至超过8B参数的稠密模型。
四、模型对比：四大开源VLM
|
模型 |
视觉编码器 |
LLM骨干 |
激活参数 |
DocVQA |
MMMU |
视觉定位RefCOCO |
特点 |
|
DeepSeek-VL2 |
SigLIP-SO400M |
DeepSeekMoE-27B |
4.5B |
93.3 |
51.1 |
95.1 |
MoE效率之王 |
|
InternVL2-8B |
InternViT-6B |
InternLM2-7B |
8.0B |
91.6 |
51.8 |
— |
OCR/文档强，中英双语 |
|
Qwen2-VL-7B |
ViT（改进） |
Qwen2-7B |
8.3B |
94.5 |
54.1 |
— |
动态分辨率，Agent能力 |
|
LLaVA-OV-7B |
SigLIP-SO400M |
Qwen2-7B |
8.0B |
87.5 |
48.8 |
— |
支持视频，社区活跃 |
选型建议：
追求部署效率 → DeepSeek-VL2。4.5B激活参数的效果对标8B，自部署成本最低
文档/OCR场景 → InternVL2 或 Qwen2-VL。DocVQA分别91.6和94.5，专门优化过文档理解
视频理解 → LLaVA-OneVision 或 Qwen2-VL。支持多帧视频输入
理解+生成统一 → Janus-Pro。唯一一个模型同时做看图和画图
视觉定位（画框） → DeepSeek-VL2。RefCOCO 95.1，当前最强
五、三个核心挑战
跨模态对齐
理解图像需要语义级表示（”这是一只金毛”），生成图像需要像素级表示（每个像素的颜色）。Janus用解耦编码缓解了这个冲突，但更深层的逐token对齐——视觉嵌入和LLM表征之间的细粒度匹配——仍是NeurIPS 2025的前沿课题。
多模态幻觉
模型描述图片中不存在的物体，或生成与文本不一致的图像。OpenAI 2025年的分析发现，评估设计是幻觉率高的一个重要驱动因素——惩罚不确定性的评估方式会迫使模型”猜”而非说”我不确定”。检测方法包括POPE基准（物体探测）和忠实度指标，但通用性有限。
评估体系碎片化
MMMU测多学科推理，MathVista测数学视觉，DocVQA测文档，RefCOCO测定位——不同模型在不同基准上各有胜负，很难用单一指标说清楚”谁更强”。
趋势是走向统一评估框架。MMAO-Bench（2025年arXiv）试图用一个流水线评估文本、图像、视频、音频所有模态。MMMU-Pro（ACL 2025）消除了原版MMMU中的”猜测捷径”，人类专家准确率也只有76-89%——说明这些基准确实在测深度理解能力。
核心观点总结
Decoder-only + MoE 是当前成本最优的多模态架构公式。开源模型几乎全部走这条路线
解耦视觉编码（Janus）证明：理解和生成需要不同的视觉处理方式，强行共用反而拖后腿
训练三阶段（对齐→预训练→微调）已成为行业标准流水线
效率创新（动态分块、像素洗牌、MLA）让小参数模型也能打——DeepSeek-VL2用4.5B跑赢8B
幻觉、对齐、评估碎片化仍是核心挑战，没有银弹
—
景桁AI笔记 | 见智·AI实战
技术出身的创业者，深度研究AI在产品和商业中的应用
AI工具测评、实战案例、产品设计指南
—
相关话题：#多模态AI #VLM #DeepSeek #Janus #MoE #景桁AI笔记
—
-[DeepSeek-VL2论文（arXiv:2412.10302）](https://arxiv.org/html/2412.10302v1)
-[Janus-Pro论文（arXiv:2501.17811）](https://arxiv.org/abs/2501.17811)
-[DeepSeek-VL2 GitHub](https://github.com/deepseek-ai/deepseek-vl2)
-[Janus GitHub](https://github.com/deepseek-ai/janus)
-[LLaVA项目](https://github.com/haotian-liu/LLaVA)
-[InternVL](https://github.com/OpenGVLab/InternVL)
-[Qwen-VL](https://github.com/QwenLM/Qwen-VL)
-[SigLIP论文（ICCV 2023）](https://arxiv.org/abs/2303.15343)
景桁 | 构架愿景，创造未来
闻道·致知·格物·见智·守正·明医
—— 景桁AI笔记 ——
见智·发现AI的真正价值
本文由 景桁AI笔记 原创，欢迎转发分享
转载请注明出处，商业合作请联系作者
如果觉得有用，请点个“在看”，让更多人看到
本文配图由 AI 辅助生成