CLIP/DINO/SAM都看不懂文档图像?华科大开源一个面向文档AI的视觉文本基础模型 MonkeyOCRv2!

MonkeyOCR进一步升级！

MonkeyOCR开创了一种全新的文档解析范式，将文档解析解耦为结构检测、内容识别和阅读顺序预测，那V2版本做了什么呢？

视觉预训练模型学习到的通用表征可迁移到各种下游任务，但在跨领域任务上还具备通用能力吗？

目前最流行的三大基础视觉模型CLIP、SAM 和 DINO，主要是在自然图像上训练的，优先理解高级语义信息。

CLIP强调图像与文本间的全局语义对齐，DINO 目标是学习稳定的语义表征，SAM 则专注于建模区域边界和可分割对象。

但在文档图像理解上呢？文档图像的特点是密集的文本、细粒度的字符结构和复杂的布局，其语义高度依赖于局部视觉细节。

即使是字符笔画、局部结构、标点符号、小数点或上标/下标中的微小变化，也可能导致完全不同的含义。

而上述视觉基础模型的数据分布和预训练目标与文档场景差异巨大，使其不适合文档解析、文档理解及相关任务。

那如何打造一个适合文档图像理解的视觉基础模型呢？

最近，华中科技大学和金山办公联合开发一个专门用于文档AI的视觉-文本基础模型MonkeyOCRv2。

解决了通用视觉模型在捕捉细粒度文本细节和布局结构方面的局限性，论文和代码地址如下：

论文标题：MonkeyOCRv2: A Visual-Text Foundation Model for Document AI论文链接：https://arxiv.org/pdf/2607.11562代码链接：https://github.com/Yuliang-Liu/MonkeyOCRv2

MonkeyOCRv2 在 17 种语言上训练，并在真实场景中对 17 种 OCR 和文档智能任务进行了评估。

包括多语言文档解析、文档理解、文本识别、公式识别、文档篡改检测、场景文本检测和重叠文本分割。

先来看下高级的任务中的表现，对于复杂的文档解析，可以准确重建光照不均、角度倾斜的拍照图像中的表格，而其他文档解析模型可能因幻觉或排序错误而失败。

对于多语言文档解析，可以看下其在俄语、泰语、越南语、简体中文和繁体中文图像的可视化，其能够正确处理阿拉伯文文档中从右到左的阅读顺序。

对于文档理解任务，看下一个消融实验对比，所有模型使用相同的 Qwen3-1.7B LLM，仅视觉编码器不同。MonkeyOCRv2 展示了更强的细粒度文本感知能力。它能够准确识别数值、人名、电话号码和产品标签。

针对传统的文档分析任务，将标准视觉编码器替换为 MonkeyOCRv2 ，其能够在五个代表性的文档分析任务上持续提升性能：文本识别、公式识别、文本检测、文档篡改检测以及重叠文本分割。

通过利用大规模多语言数据集和专注于细粒度文本细节与布局结构的双预训练策略，显著提升了跨多个任务的文档AI性能。

首先是训练数据方面，MonkeyOCRv2 的开发得到 MonkeyDoc v2 的支持，这是已知最大的多语言文档图像预训练语料库。

包含 1.13 亿张图像，涵盖 17 种语言以及广泛的文档类型，包括印刷论文、扫描书籍、手写笔记、报纸、杂志、财务报告、渲染文档等。

这个全面的数据集使 MonkeyOCRv2 特别适合真实世界的文档理解场景。

然后是预训练目标方面，引入了双重预训练目标：图像到文本生成和像素级文档重建。这种联合策略使模型能够将视觉表示与文本内容对齐，同时保留字形、标点和版面结构等关键的低层细节。由此产生的文档原生视觉编码器能够有效迁移到多种不同的下游任务中。

对于的训练并开源了三种模型变体：ViT-Small（2800 万参数）、ViT-Base（1.13 亿）和 ViTAEv2-Small（2100 万）。这些构成了一个紧凑的主干系列，适用于不同的分辨率和粒度需求。

简单的代码应用如下：

# 1. 视觉编码器，用来提取图像特征cd vision## For MonkeyOCRv2-B and MonkeyOCRv2-Spython extract_feature.py# 2. 文档解析cd parsing## 启动 vLLM 服务python serve.py -m ../model_weight/MonkeyOCRv2-B-Parsing -p 8888## 解析单个文档python parse.py -i ../images_test -o output/test# 3. 文档理解cd understandingpython infer.py \    -m ../model_weight/MonkeyOCRv2-B-Und \    -i ../images_test/vqa.png \    -q 'What is the serving size?'

小伙伴们可留言回复‘加群’进入大模型交流群、视觉应用落地交流群！

要涨知识，点击下方卡片，关注码科智能！

点个“小爱心”吧