夜雨聆风
【综述论文】超越人工标注:文档智能数据生成方法的最新进展
当机器开始学会为自己创造训练数据，文档智能的边界正在被重新定义
在人工智能领域，有一个永恒的悖论：模型越强大，对数据的需求就越饥渴。这一矛盾在文档智能（Document Intelligence, DI）领域尤为突出。
文档智能，这个融合了计算机视觉、自然语言处理和模式识别的交叉学科，致力于让机器能够“阅读”和理解文档。从基础的版面分析，到复杂的文档视觉问答（DocVQA），文档智能正在重塑企业数据处理的方式。
然而，与传统计算机视觉或自然语言处理任务相比，文档智能对数据有着更为苛刻的要求：
内在多模态性：文档的含义来自于视觉、文本和布局信息的复杂交织
细粒度标注需求：任务需要精细的标签，如关键信息提取需要同时标注语义类别、文本内容和单词级边界框
高度多样性要求：训练数据必须覆盖类型、布局、语言和质量各异的真实文档
面对这些挑战，公开数据集往往力不从心——规模有限、领域特定或标注不匹配。而人工标注已成为关键瓶颈：成本高昂、耗时漫长，且难以覆盖长尾或隐私敏感场景。
正是在这一背景下，数据生成方法应运而生，并正在经历爆炸式增长。Scopus检索数据显示，2021-2025年间相关论文数量相比2016-2020年几乎增长三倍。
然而，这一领域的快速发展也带来了新的问题：什么是“数据生成”？如何系统性地理解和选择不同的方法？针对不同资源条件，应该采用何种策略？
武汉大学、北德克萨斯大学等机构的研究者近日发表了一篇重要综述，首次系统性地回答了这些问题。该论文提出了一个全新的资源中心分类体系，将数据生成方法重新定义为监督信号的产生过程，为这个碎片化的领域绘制了第一张完整的技术地图。
传统的数据生成综述往往按技术分类，这在理论上无可厚非，但在实践中却难以指导决策。想象一下，当你面对“有一批未标注的扫描文档，该如何利用”或“需要从零开始支持一种新型发票”这样的资源约束问题时，技术导向的分类会让你在不同章节间疲于奔命。
这篇综述的创新之处在于，它提出了一个基于“数据和标签可用性”的决策框架，将所有方法划分为四个范式：
数据增强（有数据有标签）：当已有标注数据集但规模或多样性不足时，应用标签保持的变换函数生成新样本
从零数据生成（无数据无标签）：面对既无样本也无标签的冷启动问题，从抽象模板或噪声中合成全新的数据-标签对
自动数据标注（有数据无标签）：当拥有大量未标注样本时，通过程序化规则、专用教师模型或大语言模型近似学习从数据到标签的映射
自监督信号构建（有数据无标签，目标自监督学习）：与自动数据标注相同的资源条件，但目标不同——构建预文本任务，从数据本身挖掘监督信号
这一分类体系的优雅之处在于，它不仅覆盖了从增强现有数据到创造新数据的所有场景，还打通了从服务下游任务到赋能上游基础模型的完整链路。
接下来，让我们深入每个范式，探索其中的关键技术和方法。
数据增强：让有限数据发挥无限价值
数据增强是最直观、最成熟的数据生成范式。当已有标注数据集但规模有限时，通过应用标签保持的变换函数，可以生成多样化的新样本，增强模型的鲁棒性和泛化能力。
视觉鲁棒性增强
近年来，基准测试揭示了一个令人警醒的现象：即使是最先进的文档智能模型，在面对分布外的视觉变化时也异常脆弱。这一发现凸显了视觉增强对于构建实用系统的重要性。
通用几何与光学变换：旋转、缩放、模糊、噪声等变换构成了最基础、最低成本的增强手段。这些变换不仅在OCR、表格检测、关键信息提取等任务中效果显著，在大型基础模型的预训练中也扮演着重要角色。
文档特定视觉变换：研究者还设计了针对文档独特排版和结构属性的增强策略。微观层面，通过随机化字体、样式和颜色来丰富文本外观；元素层面，针对表格等结构组件引入特定变换，如形态学膨胀加粗单元格边框，模拟墨水渗出的效果。
系统化物理退化模拟：为了真实模拟文档积累的物理痕迹，一些工作系统性地组合多种变换构建完整流程。Augraphy库提供了基于物理的复杂文档退化模拟，包括墨水渗漏、扫描仪脏污、纸张褶皱等效果。
结构理解增强
结构扰动超越了像素级操作，直指文档的内在“语法”——布局和阅读顺序。通过向这些结构先验引入噪声，迫使模型学习组织逻辑的稳健表征。
常见策略包括：打乱文档元素的序列模拟阅读顺序错误，缩放标记间的水平和垂直距离提高对排版变化的容忍度，以及向边界框坐标添加高斯噪声模拟不精确的定位。
语义判别增强
最高层次的操作触及文档的语义内容。通过修改文本或任务指令，增强对语言变化的鲁棒性，缓解语义偏差，或教授复杂的指令遵循能力。
经典文本扰动：同义词替换、随机标记删除等NLP领域的经典增强技术被广泛采用。
创造性语义生成：更高级的方法执行复杂的创造性修改。例如，MixTex通过创建语法合理但语义错误的伪元素，迫使模型更依赖视觉细节，缓解对语言先验的过度依赖。随着LLM的兴起，另一个强大范式是生成式增强任务指令或答案——将简洁答案扩展为完整句子，为实体生成多样化文本，或为同一图像-答案对创建多个问题表述。
自动化增强
尽管上述方法有效，但它们依赖人工定义的固定变换规则，可能无法在不同数据集或任务间迁移。自动化增强范式通过算法学习最优策略，从数据驱动的启发式方法到基于学习的策略搜索，不一而足。
TabRecSet使用数据驱动的概率模型进行表格结构增强，根据行数和列数的全局分布采样目标维度，确保增强后的表格保持代表性。FgAA采用贝叶斯优化寻找手写文本识别的最优笔画级参数，形成模型在增强数据上的验证性能指导优化器发现定制增强配方的闭环。
小结：数据增强仍然是文档智能中低成本且不可或缺的策略。常见的最佳实践是：以基本视觉变换为基线，然后根据主要瓶颈战略性叠加高级方法——扫描文档使用物理退化模拟，布局敏感任务使用结构扰动，指令遵循能力使用语义扩展。当追求极致性能时，自动化增强提供了发现最优策略的强大工具。
从零数据生成：突破冷启动困境
当既无样本也无标签时，如何构建训练数据？从零数据生成范式通过两种主要技术路径回答这一问题：基于模板、规则和渲染的系统性方法，以及基于生成式AI的端到端方法。
基于模板的系统性生成
基于模板和渲染的方法遵循一个清晰的流程：模板定义结构，程序填充内容，渲染引擎生成最终视觉输出。这一过程产生包含视觉外观和完美对齐标注的多模态数据包。由于其无与伦比的标注精度和可控性，这些方法成为构建大规模合成数据集的基石。
基本组件生成：生成高质量的基础组件——如文本行、表格、图表和公式——是训练专用文档模型的关键前提。对于文本行，常见方法是用多种字体渲染大规模文本语料库，合成大量印刷体或手写体文本行。对于高度结构化的组件如表格、图表和公式，基于模板的渲染尤为有效。典型流程包括定义结构，用内容填充（可由LLM生成或从真实文档提取），然后使用HTML/CSS或Pandoc等引擎渲染最终输出。
完整文档生成：除基本组件外，基于模板的方法也被广泛用于创建多元素完整文档，策略因文档类型而异。对于布局相对固定的半结构化文档，常见且有效的工作流是将文本打印到空白模板上，用于生成大量合成发票、火车票和身份证。对于更复杂的结构化文档如科学论文和网页，其内在源代码（如LaTeX和HTML）常被利用。DLAgen通过着色方案生成像素级掩码，将LaTeX源代码中分配的唯一颜色从渲染输出映射回来，创建零误差标注。
基于生成式AI的端到端方法
更具前瞻性的范式使用生成式AI模型直接学习真实文档数据的潜在分布。与基于模板的方法不同，这些方法从随机噪声或条件输入中以端到端方式生成文档的视觉外观、布局和内容，在多样性、真实感和风格化方面展现出巨大潜力。
手写文本生成：作为一项挑战性子领域，该任务旨在合成保留特定内容同时呈现真实手写风格的文本图像。GAN-based方法是早期主流，随后扩散模型在生成质量和可控性上超越GAN，使得在少样本甚至零样本设置下实现高质量文本合成成为可能。
文档布局生成：该任务聚焦于合成文档的抽象结构——由元素类别、位置和大小定义——而不渲染像素级内容。扩散模型已成为主导范式，通过迭代去噪过程生成布局，确保更高的结构连贯性和多样性。随着LLM的兴起，具有更强语义理解能力的新范式出现，从利用上下文学习生成布局序列，到理解复杂自然语言指令，再到将布局生成重新定义为代码生成任务。
完整文档图像合成：该任务旨在合成同时整合连贯内容、布局和真实视觉外观的整体文档图像。可控扩散模型通过实现对Layout的条件控制，合成具有连贯文本和风格的高保真文档，弥合结构控制与逼真效果之间的鸿沟。
小结：系统性渲染与生成式AI之间的选择本质上是在可控性/精度与真实感/多样性之间的权衡。尽管取得了显著进展，该领域仍面临生成数据与真实样本难辨真伪、长文档和多模态文档的一致性、以及LLM生成内容的幻觉问题等挑战。未来方向包括可控生成、生成模型与物理渲染引擎的深度融合，以及能够模拟真实世界过程生成互联文档集合的世界模型。
自动数据标注：从程序化规则到LLM驱动
自动数据标注范式的技术演进清晰可辨，可分为三个主要阶段。
基于外部来源和启发式规则的标注生成
在深度学习广泛采用之前，研究者通过利用外部资源或设计复杂的启发式规则开创了自动标注方法。这些方法不依赖模型的预测能力，其生成逻辑通常高度可解释且确定性。
利用文档的内在结构表示：许多数字原生文档具有双重表示——面向人类阅读的视觉层和机器可读的源层（如HTML、XML、LaTeX）。通过对齐这两层，可以为视觉文档生成高质量标注，成本几乎为零。PubLayNet通过字符串匹配将语义标签与PDF视觉区域对齐；TableBank通过解析HTML/XML、LaTeX或Word文档的源代码，成功构建了具有高精度逻辑标注的大规模数据集。
利用布局模式和任务逻辑：即使没有并行的结构化源，也可以通过利用文档的内在布局模式和任务的逻辑结构创建标注。基于模板的问答合成是一个基础范式，通过将结构化文档信息程序化地填入预定义语言模式生成问题。
利用自动化工具和专用模型生成标注
随着深度学习的兴起，使用自动化工具或预训练专用模型为未标注文档生成草稿标注成为主流策略。
基础解析标注生成：作为预标注工作流的起点，该类别专注于提取核心文档元素：文本内容、物理布局和结构属性。OCR引擎、目标检测器、布局分析模型等被广泛用于生成这些基础标注。
高级语义标注生成：在基础解析基础上，专用模型被用于生成更复杂、语义更丰富的标注，如实体关系和简单问答对。ChartQA采用端到端方法，微调T5模型从摘要中顺序生成答案和问题；半自动方法则先使用传统NLP工具识别候选答案，再使用生成模型合成相应问题。
利用LLM生成任务标注
LLM的出现从根本上改变了自动标注。与局限于判别性标注的传统模型不同，LLM利用其生成能力合成复杂的任务导向信号——从多轮对话到推理链。这一转变使得能够低成本构建高级认知任务的训练数据，而这些任务以前依赖专家人工标注。
任务导向标注生成：LLM的主要用途在于为下游任务合成监督信号。大量工作利用强大的LLM为多样化的文档类型构建大规模问答对。这一范式已扩展到涉及多轮对话的复杂场景，以及合成具有逻辑谬误的负样本以增强鲁棒性。
推理过程和指令标注生成：除了产生“输出”，LLM擅长阐明“过程”和优化“输入”，为推理和指令遵循提供明确的监督。早期工作提示LLM生成文本理由或逐步解释；更先进的方法整合空间上下文，合成交织文本推理与边界框证据的布局感知思维链。指令标注生成方法见证了复杂度的明显演变：从零开始合成指令，到使用模板改写种子指令，再到利用思维链提示将简单命令升级为复杂任务，最后出现自我精炼循环。
小结：自动数据标注的格局已从确定性的程序化对齐扩展到生成式的LLM驱动合成。最优策略由目标标注的复杂度决定：对于简单的确定性标签，严格的程序化方法仍是黄金标准；而对于高级语义推理，LLM不可或缺。尽管效率显著，这一范式也引入了可靠性瓶颈，特别是复杂生成输出的高验证成本和来自教师模型的偏差放大风险。
自监督信号构建：挖掘文档内在结构
自监督信号构建范式专为“大量未标注数据”场景设计，旨在从文档的内在结构中直接挖掘监督信号。在这一范式中，“未标注数据”被广义定义：缺乏下游任务人工标注但具有内在可提取结构的文档。因此，可规模化获取的低成本属性——如OCR文本、HTML DOM树或LaTeX源代码——成为构建自监督预文本任务的基础“免费标签”。
生成式学习
生成式学习通过训练模型“从部分恢复整体”，迫使模型学习丰富的上下文表征。
掩码建模：核心是“填空”任务，利用双向上下文学习深层上下文表征。从文本模态的掩码视觉语言模型，到视觉模态的掩码图像建模，再到文档特定的布局模态的掩码属性预测，这一文档基础模型的基石不断演进。随着领域发展，出现了向联合多模态掩码的转变，通过跨模态无差别应用掩码策略，强制深层跨模态对齐。
自回归建模：核心是单向序列预测，训练模型基于前序元素预测下一个元素，学习序列连贯性。在文档智能中，这一技术通过两种主要路径应用：一是对符号序列进行语言建模，二是将文档感知任务重构为整体的自回归图像到序列生成任务。
对比式学习
对比式学习通过构建正负样本对，在特征空间中将相似样本拉近、不相似样本推远，学习不变特征。其在文档智能中的应用展示了对比目标从具体到抽象的清晰演进：从局部视觉一致性开始，扩展到宏观和微观尺度的跨模态对齐，再到最先进的抽象、内容无关属性的不变性学习。
预测式学习
预测式学习训练模型显式预测内在的、可程序化提取的结构、关系或属性。与“恢复”原始输入的生成式学习不同，预测式学习教模型“推断”更高级的抽象信息。这些任务可分为三个层次：空间对应预测、几何属性与关系预测、逻辑与层次关系预测。
小结：预文本任务的设计本质上是一种平衡艺术：生成式学习擅长学习深层上下文表征，对比式学习强于学习不变特征，预测式学习适合教授模型特定的内在文档属性。现代基础模型常组合多种预文本任务，以发挥其互补优势。然而，该领域仍面临缓解预训练-微调差距、降低计算成本、设计更有效的多模态对齐预文本任务等挑战。
评估生成数据：从内在质量到外在效用
贯穿数据生成生命周期的一个基本问题是：如何判断生成的数据是否优质？为系统回答这一问题，该综述建立了文档智能数据生成的第一个多层次评估框架，包含两个基本范式。
内在评估
宏观质量评估：评估生成数据集的整体质量，聚焦于保真度、多样性以及与真实数据的分布对齐。通用生成指标如IS、FID、KID被广泛采用。为区分保真度与多样性的局限性，解耦指标如Precision和Recall及其稳健变体Density和Coverage正被越来越多地采用。针对特定文档属性，研究者开发了定制化评估策略，如TTR和Self-BLEU量化内容多样性，DocSim度量结构相似性。
微观质量评估：验证单个样本的正确性、合理性和一致性。评估方法可分为三类：基于计算的客观指标，提供基于数学公式的确定性分数；基于学习的感知评估器，模拟人类对特定维度的判断；利用LLM作为评估器，利用其通用推理能力评估语义属性。
外在评估
最直接的外在评估方法是衡量生成数据对下游任务性能的贡献。标准工作流程是：训练模型利用生成的监督信号——无论是合成样本、增强视图还是自监督预文本任务——并在真实的独立测试集上评估。主要指标是相对于未使用这些生成信号训练的基线模型的性能增量。
为确保评估可靠性，测试集必须与训练集解耦。除分布内精度外，更严格的测试衡量数据对分布外鲁棒性的贡献。除性能评估外，还包括数据效率和扩展效应的深入分析。
为综合所提范式与下游应用间的关系，研究团队对调查文献进行了系统性统计分析。热力图显示了一个清晰的“感知-推理转移”：从零数据生成主导基础感知任务（占文本识别研究的47.0%和布局结构研究的45.9%），反映出合成像素级完美标注的必要性；而对于高级推理任务，领域转向自动数据标注，其在图表理解和文档视觉问答中领先（分别为44.0%和40.6%），这得益于LLM生成复杂问答对的能力。值得注意的是，自监督信号构建在所有任务中展现出广泛的高影响力分布，凸显其作为通用语义基础设施的角色。
站在宏观视角审视数据生产生态系统，可以提炼出塑造数据生产未来的核心演进趋势。
技术基石
生成式AI成为通用跨范式引擎：传统上，不同数据生产任务依赖专用技术栈。然而，生成式AI，特别是LLM，正在打破这些壁垒，演变为可灵活调用以赋能所有数据生产阶段的通用核心技术。
自监督预训练成为通用基础设施：自监督学习本身是最基础的数据生成形式，从未标注数据创建预文本任务，产生强大的预训练模型。这一模型随后成为使所有其他数据生产范式高效运行的数字基础设施。
基于这些基石，研究团队倡导战略性的范式混合：稳健的流程应协同编排多种范式——利用从零数据生成覆盖长尾分布，借助自动数据标注确保头部分布精度，最后应用数据增强强制局部鲁棒性。
范式转移
从“表征学习”到“知识蒸馏”：数据生成的终极目标不再仅是学习表征，而是从强大教师模型中蒸馏内隐知识到显式、高质量的训练数据中。
从“静态数据池”到“动态课程”：焦点正从数据数量转向智能编排其序列和难度。通过将数据生成与课程学习整合，可为模型量身定制最优学习路径。
技术前沿
从静态工作流到智能体生成：未来系统将采用自主智能体，能够动态规划策略——搜索模板、模拟交互、验证输出。
知识注入：通过检索增强生成整合外部数据库，使模型能基于检索到的事实条件化合成，确保文档既视觉真实又事实准确。
从标注者到监督者的协作创造：新兴工作流利用人类反馈强化学习，专家提供高层次批判而非实例级标签。
生态系统演进
驱动力从“生成中心”向“评估中心”转移：关键问题正从“我们能生成什么？”转向“什么真正有用？”。生成与评估之间的闭环正在形成，由先进的评估方法驱动。
形式从“集成工作流”向“协同进化生态系统”演进：终极形态正从线性流程演变为递归的自我改进循环：模型从数据学习，生成更好数据，然后通过这些数据改进自身。
然而，这一递归生态系统面临根本性的存在威胁：数据熵。若无干预，生成模型固有的微小幻觉、合成渲染中的保真度差距以及自动化放大的偏差将在迭代中积累，导致系统退化——即所谓的“模型崩溃”。因此，该生态系统的长久性不仅取决于生成速度，更取决于实施“负熵过滤器”——严格的自动化审计机制，持续净化训练流，确保自我改进循环保持建设性而非退化性。
这篇综述首次系统性地探索了文档智能中的数据生成方法，提出了一个以资源约束和学习目标为中心的新型分类体系。在这一框架指导下，研究团队剖析了四个范式的技术景观：数据增强如何通过扰动提升鲁棒性；从零数据生成如何通过模板渲染和生成式AI弥合冷启动缺口；自动数据标注如何通过从启发式规则到LLM驱动的推理加速标注；自监督信号构建如何挖掘内在监督以赋能基础模型。
更重要的是，该综述建立了整合内在质量与外在效用的多层次评估框架。综合这些发现，研究团队提炼出该领域向新生态系统的演进轨迹——这一系统由生成式AI驱动，以评估为中心，以数据和模型的协同进化为特征。
对于文档智能领域的从业者和研究者而言，这篇综述不仅提供了系统的技术指南，更描绘了一幅激动人心的未来图景——在这个未来中，机器能够为自己创造训练数据，不断自我进化，最终超越人工标注的极限，开辟文档理解的新边疆。
参考文献：（详见原论文）
关注我们，获取更多人工智能前沿研究解读