无需怀疑,长文档OCR已经成为当下诸多行业发展的基础,甚至是提升信息获取效率的有利保证,在OCR技术发展的这些年里,虽然时间跨度不小,可我们也能看出一个有趣的规律,那就是最初的阶段,主要是编码设计的时代,OCR的发展重点是建立高效的视觉token化方案,我们现在使用的很多视觉编码,其实都是当时所打造的基础,例如DeepSeek OCR的DeepEncoder就是如此。
而在接下来的阶段中,OCR的发展开始走向解码技术,准确地说,是长输出解码的优化,因为有了R-SWA机制的提出,使得长文档解析开始出现突破,第一个阶段造就了DeepSeek的编码体系,第二个阶段造就了R-SWA的解码突破,而现在,则开始进入第三个阶段,我们已经身处变革之中。

实际上,每一个OCR变革时代的出现,都是为了解决长文档解析继续向前推进的问题,目前长文档OCR的发展,同样也是如此,简单来说,就是KV Cache的线性膨胀与解码成本相比,已经出现严重的不成正比例的情况。
以OmniDocBench v1.5基准为例,这并不一个跨模型的对比节点,只是标准化的文档解析评测,可尽管如此,采用传统长文档OCR的模型,在使用了更优化的预处理和更先进的内存管理后,性能提升也才达到93.23%总分,如果剔除这些因素,那么传统模型对长文档解析性能的提升,很可能连DeepSeek OCR的边际改进都没有,可成本却是DeepSeek OCR模型的超过6个百分点。

还有Unlimited OCR近期与DeepSeek OCR的速度对比,Unlimited OCR的推理速度在6000 token时明显更快,而DeepSeek OCR采用完整KV Cache方案,推理速度在长输出场景下甚至慢约35%,但出错的概率却差异不大,反而在有些速度和成本项目上却有领先的优势。
通过这两个案例就能看出,仅仅是一次完整的长文档解析,就已经出现了这么大的速度差异,然而精准度上反而没有明显的下降,而且分析指出,在长文档场景下,传统OCR模型的KV Cache线性膨胀问题,考虑到计算成本的爆炸,将不能持续容忍,也就是说,以后这种模型的解码进程已经遇到瓶颈,用技术报告的话说,就是长程解码或许已经走到尽头。
所以总结起来就是,传统OCR技术能够识别,可到了长文档输出就慢了很多,可计算成本却成倍的提升,这在工程上是行不通的,那么怎么办呢?上面我们提到了,OCR的发展经历了编码设计和解码效率两个主要历史阶段,现在就是进入第三个历史阶段,智能遗忘机制,准确的说,是R-SWA滑动窗口注意力,是解码端的核心优化。

上面我们提到的Unlimited OCR模型的核心,其实就是采用R-SWA机制,通过精心设计的注意力优化的结果,我们看到,解码成本大幅下降,但精准度却依然出色,而这就要提到我们今天的主角,百度Unlimited OCR,目前是开源社区的长文档OCR新星。
文章猜测,Unlimited OCR的技术负责人,之前可能服务于DeepSeek,现在则又为其后续发展提供了引擎之前DeepSeek推出了强大的编码体系,毫无疑问,这为我们发展长文档OCR提供了基础,现在百度Unlimited OCR则又传出了好消息。

其表示,在OmniDocBench v1.5文档解析基准上取得93.23%总分,比DeepSeek OCR高约6个百分点,据悉该模型已经正式开源在HuggingFace和GitHub,总参数量未知,但推理效率显著提升,所以我们看到,智能遗忘机制已经成为长文档AI发展的新引擎,目前包括国内多家研究团队都在大力投资类似技术。
对于我们国内AI研究团队的发展,传统模型恐没想到会这么快,毫无疑问,这对传统模型来说造成了压力,因为智能遗忘机制主要就是为了减少对全注意力机制的使用,实际上这样的情况已经出现了一些端倪,例如在6000 token输出时,DeepSeek OCR的推理效率从,如果按实际数据算,性能差距已经明显拉大,但目前的测试不会超过几十页。
而且近日百度还表示,已经发布了新的模型,实现了在长文档解析上,无需依赖全自注意力机制;其他团队方面也成立了一个研究联盟,同样是在智能遗忘机制方面的努力。
夜雨聆风