MOSS-Image 深度解读技术文档

论文标题: MOSS-Image Technical Report

发布机构: MOSI.AI / SII / 复旦大学 / 上海交通大学

arXiv ID: arXiv:2610.23374

发布日期: 2026年10月16日

开源许可: Apache License 2.0 / CC BY 4.0

GitHub: https://github.com/OpenMOSS/MOSS-Image

HuggingFace: https://huggingface.co/collections/OpenMOSS-Team/moss-image

目录

1. 概述
2. 训练数据
3. 模型创新点
4. 改进与思考
5. 微调及蒸馏训练
6. 与 Qwen-Image-2.1 对比
7. 社区发展
8. 总结

1. 概述

MOSS-Image 是由 MOSI.AI、SII、复旦大学和上海交通大学联合开发的开放文生图系统，旨在缩小开源模型与闭源图像生成系统（如 GPT Image 2、Seedream 5.0 Pro、Qwen Image 3.0 Pro 等）之间的差距，特别是在密集文本渲染和复杂布局生成这两个开源模型长期薄弱的领域取得突破。

系统的核心由两部分组成：

• 5B 参数单流扩散 Transformer（DiT）：从零开始预训练的基础生成模型，支持双语（中英文）长文本渲染和精确布局控制。
• 意图感知的智能体提示增强模块（Agentic Prompt Enhancement, PE）：将简短的用户请求转化为详细的内容和布局规范，连接用户意图与生成器。

核心性能亮点

2. 训练数据

2.1 数据来源与构成

MOSS-Image 的预训练语料从多个公开图像-文本数据集构建，经过 SSCD 去重和 AI 生成图像检测移除后，从约 50 亿张图像缩减至约 30 亿张图像。数据源混合保持原始比例。

2.2 核心数据策略：标注而非过滤

MOSS-Image 在数据策略上有一个重要的反直觉设计——**"Annotate rather than filter"（标注而非过滤）**。

在去重和 AI 图像移除之后，不再施加额外的人工质量过滤。这是一个经过实验验证的预训练选择。团队在 1B 消融实验中发现：

• 额外过滤反而损害生成质量：在 1.6M 步训练后，过滤后的模型在 GenEval、OneIG 和 FDR6-LAION 上表现更差，特别是文本渲染能力大幅下降——OneIG 文本分数从 0.5243 骤降至 0.1180。
• 残余属性（水印、模糊人脸、压缩伪影）被纳入文本标注，而不是作为排除标准。

设计理念：保留真实世界数据分布的广度，通过标注而非过滤来处理"低质量"属性。

2.3 多粒度结构感知标注

每张图像通过 Gemma 4 [19] 生成三种语义粒度的描述：

关键设计要点：

1. 保留换行结构：标注中的可见文本逐字转录，保留换行符（\n），因为换行本身也是一种布局信息，为多行文本渲染提供显式监督。
2. 结构化布局标注：对部分图像子集构建包含全局描述和局部元素（边界框、类别、文本转录、排版属性）的 JSON 结构标注。
3. Caption 采样策略：原始 caption 与重新生成的 caption 以 20:80 的比例采样；三个粒度之间均匀采样（1:1:1）。

2.4 训练数据特点小结

• 训练 caption 以英文为主，无专门的中文标注。
• 尽管如此，模型仍展现出强大的中文长文本渲染能力（LLTB 中文分数最高达 92.4）。
• 数据涵盖通用图像、医学图像、遥感图像、艺术作品、地标建筑、海报等多种领域。

3. 模型创新点

3.1 架构设计

3.1.1 5B 单流扩散 Transformer

MOSS-Image 采用单流（single-stream）DiT 架构，文本和图像 token 在同一 Transformer 中联合处理，而非双流（dual-stream）设计。

3.1.2 SiTU-GLU 前馈层

MOSS-Image 引入了来自 Kimi K3 [14] 的 SiTU-GLU 前馈层，结合了 SiLU 门控和平滑截断函数：

其中  为平滑截断函数， 控制饱和度。这一设计有助于数值稳定性和训练收敛。

3.1.3 4D RoPE 位置编码

MOSS-Image 设计了四维旋转位置编码（4D RoPE），将每个注意力头的特征分为四个子空间：

对应四个坐标轴 ：

• r: 参考索引轴（reference index），为未来扩展到参考图像条件生成预留
• t: 序列位置轴（temporal/sequence position）
• w, h: 空间宽度和高度轴

在当前无参考输入的设定下，所有 token 使用 ，使得参考子空间保持不旋转，产生部分 RoPE（partial RoPE）。具体配置为：每个头的 128 维中，前 32 维不旋转，剩余 96 维使用  编码。

设计考量：消融实验表明，不同坐标分配方案在整体生成质量上差异不大，但各指标间存在权衡。保留独立的参考索引轴为未来扩展到图像编辑和参考条件生成提供了可能，而无需改变位置编码结构。

3.2 渐进式训练策略

训练分为三个阶段，逐步增加图像分辨率和文本上下文容量：

Stage 3 最终配置：

• 图像尺寸对齐到 16 的倍数
• 目标图像面积上限 1024² 像素
• 单设备处理 8576 个图文 token
• 512 设备 × 2 梯度累积步 = 名义容量 8,781,824 tokens/更新
• 使用 EMA（指数移动平均）权重

3.3 Hybrid Muon–AdamW 优化器

MOSS-Image 在整个预训练过程中使用 Muon-AdamW 混合优化器：

• Muon：用于可更新的二维矩阵参数
• AdamW：用于非矩阵、嵌入类、输出头等参数

在 1B 消融实验中验证了其收敛优势：

优化器超参数：

3.4 流匹配损失与噪声采样

采用 Flow-matching 损失函数（公式 3），文本 token 不参与预测损失，不同分辨率的图像按有效 token 数量比例贡献损失。

Stage 3 采用四段式噪声采样调度（表 2），核心特点：

• 最终阶段使用截断 logit-normal 采样（, ），截断点 
• 混入 1% 均匀采样
• 前两阶段额外以 0.01 概率采样全噪声端点
• 逐步从 shift=3 过渡到 shift=1

3.5 意图感知的智能体提示增强（PE）

这是 MOSS-Image 区别于其他文生图系统的核心系统创新。PE 模块基于 GPT-6 实现，包含三个关键能力：

1. 意图特定的任务路由：根据请求的媒介类型（海报、信息图、UI 界面）选择不同的任务模块，每个模块有专门的内容和设计指导。
2. 知识与视觉上下文检索：Agent 通过网络和图像搜索获取参考资料，检查视觉参考以开发内容和构图。
3. 可执行布局规划：输出 JSON 格式的结构化规范，包含文本、元素、边界框、排版和空间关系，通过生成器共享的文本条件接口直接传递。

PE 模块输出的 JSON 包含 8 个根字段：scene_type、gen_brief、aspect_ratio、layout、elements、anchors、must_not、palette。与训练时的标注格式相比，推理时额外增加了 aspect_ratio 和 must_not 字段。

3.6 双重评测基准

MOSS-Image 团队提出了两个新评测基准：

LongLongTextBench (LLTB)

LLTB 包含 120 英文 + 120 中文任务，每个语言有三个长度区间（短/中/长）。英文源自 Project Gutenberg 文学作品，中文古典文本包含《孟子》《中庸》《大学》，现代文本包含鲁迅作品（含《阿Q正传》12 篇）。

RealLayoutArena (RLA)

61 个任务从手工筛选的设计参考构建（20 海报 + 20 信息图 + 21 UI 界面），使用盲测成对人类比较，评估指令遵循、渲染质量和空间组织。

4. 改进与思考

4.1 核心问题诊断

MOSS-Image 团队将当前开源 T2I 模型的差距归结为两个耦合挑战：

1. 渲染挑战（Rendering）：准确再现长文本并遵循空间约束。
2. 规范挑战（Specification）：将简洁的用户请求转化为内容和布局指令，细节程度与请求相匹配。

关键洞察：单独任何一个能力都不够——详细的规范不保证忠实渲染，渲染能力本身也不能解决用户未明确的内容和设计决策。这需要一个连接意图感知规范与忠实渲染的系统。

4.2 关键设计思考

4.2.1 统一文本条件路径

MOSS-Image 的一个核心设计决策是：自然语言描述和结构化布局规范共享同一文本条件路径。这意味着模型可以通过自然语言或 JSON 布局任一形式接收指令，无需独立的布局控制模块。

这一设计的优势在于：

• 简化了模型架构，避免了多条件模块的复杂性
• 允许通过提示增强模块灵活切换两种条件形式
• 自然语言和结构化布局可以混合使用

4.2.2 换行即布局

团队提出了一个深刻洞察：**"Text line breaks are also a form of layout"（文本换行也是一种布局）**。

消融研究发现，提示中带有显式换行符时：

• 在去噪过程早期（第 8 步），多行文本的字符内容就已经可以辨认
• 不带换行符时，中间步骤多行文本保持模糊，最终步骤仍有畸形字符
• 这表明换行边界有助于模型更早地建立每行内容，改善最终文本渲染

4.2.3 坐标表示的泛化性

研究发现零中心绝对边界框坐标在训练中未见过的分辨率上泛化效果优于归一化到 [0, 1000] 的相对坐标。这一发现直接影响了推理时的坐标约定。

4.2.4 LongTextBench 已饱和

团队发现 LongTextBench 已接近饱和——强模型得分集中在 96.05–98.85 之间，且其目标文本平均仅 120.3 个字符，无法有效区分长文本渲染能力。这促使他们构建了 LLTB，平均字符数达到 1,339.8（约为前者的 11.1 倍）。

4.3 局限性与未来方向

MOSS-Image 团队坦诚地指出了当前模型的局限：

1. 不支持参考图像条件：当前主干仅支持文生图，不能直接以参考图像为条件或进行图像编辑。
2. 提示增强依赖外部 LLM：PE 模块依赖 GPT-6，其在美学判断、参考解释和事实错误方面的局限会影响规范质量。
3. 计算预算限制：图像条件生成和迭代设计精化在未来工作计划中，受限于当前计算预算。

5. 微调及蒸馏训练

5.1 SFT 后训练

MOSS-Image 提供两个版本：

SFT 版本针对布局组织和文本分组进行了优化，更适合实际应用场景。

5.2 社区微调框架：KohakuMossTrainer

MOSS-Image 官方推荐 KohakuMossTrainer 进行微调训练，提供全量微调和 LyCORIS（含 LoRA）训练：

5.3 社区微调项目

1. DiffSynth-Studio：支持 MOSS-Image 的全量微调和 LoRA 训练
2. MOSS-Image-SFT-DeBand：由社区开发的 LoRA，用于减少垂直色彩条带问题
3. MOSS-Image-FP16-fixed：FP16 兼容的变换器权重，降低部署门槛

5.4 蒸馏训练

社区已开始蒸馏探索：

1. MOSS-Image-SFT-8-steps-dmd：由 lodestones 开发的 8 步 DMD（Distribution Matching Distillation）蒸馏版本，将默认 50 步采样大幅压缩到 8 步，显著提升推理速度。

5.5 推理优化

MOSS-Image 的推理支持多种优化配置：

采样设置（默认）：

• 采样器：Flow-matching Euler
• 步数：50
• CFG：3
• Shift：5
• 层跳过：第 22 层负分支跳过

内存模式：

• GPU 驻留模式：整个模型保留在 GPU 上
• 组件模式：在 CPU 和 GPU 之间移动模型组件
• 顺序模式：低内存使用，推理较慢

推理引擎支持：SGLang、vLLM-Omni、ComfyUI

6. 与 Qwen-Image-2.1 对比

6.1 背景

Qwen-Image-2.1 [39] 是阿里巴巴 Qwen 团队发布的"紧凑、高效、统一的图像创作"模型。MOSS-Image 技术报告在致谢中感谢了 Qwen 团队，且使用了冻结的 Qwen3.5-9B 作为文本编码器，两者在技术路线和定位上有显著差异。

6.2 架构对比

6.3 设计理念对比

6.4 性能对比

文本渲染（LLTB）

注：Qwen-Image-2.1 的 LLTB 具体分数未在 MOSS-Image 报告中单独列出，但 Qwen Image 2512 作为参考点显示了显著差距。

布局控制（7Bench）

MOSS-Image 在布局控制上大幅领先所有对比模型。

端到端系统（RLA）

共享增强提示下主干对比

在相同增强提示条件下，MOSS-Image 主干排名第一，证明了其生成器本身的强大能力。

6.5 差异化优势总结

7. 社区发展

7.1 开源策略

MOSS-Image 采用了非常开放的开源策略：

• 模型权重：Apache License 2.0，支持商业使用
• 训练方案：公开预训练配方，包括数据策略、训练阶段、优化器配置等
• 评测框架：LLTB 和 RLA 基准公开，支持社区进一步研究
• 技术报告：35 页详细技术报告，CC BY 4.0 许可

7.2 部署支持

MOSS-Image 已集成到多个主流推理框架：

7.3 社区贡献生态

社区已围绕 MOSS-Image 形成了活跃的贡献生态：

微调工具：

• KohakuMossTrainer：全量微调和 LoRA 训练框架
• DiffSynth-Studio：另一种微调和 LoRA 训练方案

社区微调模型：

• MOSS-Image-SFT-DeBand：减少色彩条带的 LoRA
• MOSS-Image-FP16-fixed：FP16 兼容权重

蒸馏模型：

• MOSS-Image-SFT-8-steps-dmd：8 步 DMD 蒸馏版本

异构 GPU 训练： MOSS-Image 支持在替代 GPU 平台上训练，包括 Intel Arc 和 NVIDIA SM70–SM120 全系列，降低了训练和部署门槛。

7.4 评测基准贡献

MOSS-Image 团队贡献了两个重要评测基准：

1. LLTB（LongLongTextBench）：填补了长文本渲染评测的空白，平均字符数是 LongTextBench 的 11 倍。
2. RLA（RealLayoutArena）：首个端到端复杂图形生成的人评竞技场，使用 Bradley-Terry 评分。

这些基准为整个文生图社区提供了更全面、更有区分度的评估工具。

8. 总结

MOSS-Image 是一个在密集文本渲染和复杂布局生成领域取得重大突破的开源文生图系统。其核心贡献可归纳为：

技术层面

1. 5B 单流 DiT 从零预训练：证明单流架构在文本渲染和布局控制上的竞争力
2. 统一文本条件接口：自然语言和结构化布局共享同一条件路径，简化架构同时增强灵活性
3. "标注而非过滤"的数据策略：经实验验证，广覆盖数据优于质量过滤
4. Hybrid Muon-AdamW 优化器：在训练收敛效率上实现 28-33% 的步数节省
5. 4D RoPE 设计：预留参考索引轴，为未来图像编辑扩展奠定基础
6. Agentic PE 模块：将简短用户请求转化为详细结构化布局规范

评测层面

1. LLTB 上开源 SOTA（96.3 Mean-6），领先 Qwen Image 2512 达 31.4 个百分点
2. RLA 端到端排名第二（仅次于 GPT Image 2），主干在共享提示下排名第一
3. 7Bench 布局控制大幅领先（mIoU_det 0.88 vs 次优 0.44）

社区层面

1. 完整开源模型、训练方案和评测框架
2. 多框架部署支持（ComfyUI、SGLang、vLLM-Omni、Diffusers）
3. 活跃的社区微调和蒸馏生态
4. 贡献两个高质量评测基准

MOSS-Image 证明了开源模型在密集文本和复杂布局生成领域可以接近甚至超越部分闭源系统，为文生图社区的发展提供了重要的技术基础和评测工具。

参考资料

1. MOSS-Image Technical Report, arXiv:2610.23374, 2026.
2. GitHub: https://github.com/OpenMOSS/MOSS-Image
3. HuggingFace Collection: https://huggingface.co/collections/OpenMOSS-Team/moss-image
4. Qwen-Image-2.1: https://qwen.ai/blog?id=qwen-image-2.1
5. Qwen-Image Technical Report, arXiv:2508.02324, 2025.