开源模型解读13|0.8B小模型读懂了文档

上周帮财务同事整报销，47张发票，一张一张抄发票号、金额、税号、开票日期。抄到第20张的时候我就在想：这事儿2026年了怎么还得人干？四天后，小米把这活儿做成了开源模型。10月30日，Xiaomi-OCR-0 上线 Hugging Face，8亿参数。

一、8亿参数，先看它打赢了谁

先把数字摆出来，因为它确实有点反常识。官方在几个核心基准上的成绩：

OmniDocBench v1.6（综合文档解析）96.83分，总榜第二，距榜首0.04分，1B以下第一；Real5-OmniDocBench（五种真实拍摄干扰）95.24分，对比模型里第一；Wild-OmniDocBench（野外复杂版式）87.94分；UniMER-Test（数学公式）97.84分；PubTabNet（表格结构）92.27分；Chronicles-OCR（古籍书法）73分，官方说与闭源 Seed 2.0 Pro 的72分同档。

文档理解这块（DocVQA、InfoVQA、ChartQA、OCRBench、TextVQA 五项平均）拿了 83.2分。同组对比里，1B的混元OCR-1.5是76.5，2B的TokenVL是78.1，7B的TextHawk2是78.5，8B的MiniCPM-V-4.5是82.6，4B的Qwen3.5是84.9。

意思就是：它比8B的通用多模态模型略高一点，逼近4B的Qwen3.5，而自己只有0.8B。 但注意，4B的Qwen3.5还是比它高1.7分，别把"越级"吹成"全面超越"。

二、它和传统OCR差在哪

这里有个概念得掰开说，不然容易觉得"不就是个识别文字的吗"。

第一代是传统OCR：把像素认成字。你给它一张发票，它还你一堆文字，但行列关系没了、表格结构没了、哪块是标题哪块是备注它不知道，你还得写规则去猜。

第二代是通用多模态大模型：理解能力有了，但动辄8B、几十B，一张A4纸跑一次的成本和时间都不便宜，而且它经常"太聪明"——你让它原样输出表格，它顺手帮你改写两句。

Xiaomi-OCR-0 卡的是中间那条缝：只做文档，但三件事一起做。

一是文档解析。正文、复杂表格、数学公式全收，严格按人的阅读顺序输出，原生给 Markdown 和 LaTeX。这一步是给知识库和 RAG 用的——扫描件进去，能编辑的 Markdown 出来。

二是关键信息抽取。发票、收据、身份证、银行卡、业务表单，你指定字段，它吐 JSON。这一步是给自动化流程用的。

三是OCR视觉问答。不只是转写。你问"这张财报2027E的毛利率比2026E高多少"，它能跨区域找数、做减法、告诉你结果。

三、0.8B凭什么能打：数据比模型重要

这是本期最想讲的部分，因为它的方法比分数更有参考价值。

底座是 Qwen3.5-0.8B-Base，阿里的开源小模型。同一个底座，原始版本五项VQA平均72.9分，小米训完是83.2分，涨了10.3分。参数一个没多加。

差距全在数据上。团队号称用了1.7亿条高质量样本，关键是怎么保证这1.7亿条是干净的：

一是异构专家共识。正文、表格、公式三类区域，分别拉多个不同的OCR专家模型交叉校验，用1-NED、TEDS、CDM这些专项指标投票，票数不够高的标注直接扔掉。这样能滤掉单个模型的偏见——一个模型认错的地方，别的模型大概率不会跟着错。

二是渲染引导校验，这招最聪明。表格和公式这种结构活儿，光看文字对不对没用，得看结构对不对。他们的做法是：把模型解析出来的结果重新渲染成一张图，再跟原始文档的对应区域做像素级和结构级比对。行列错位了、符号漏了，图上立刻能看出来，然后定向修。相当于让模型自己批改自己的作业。

三是困难样本定向合成。按版面复杂度、字体形态、物理退化因素去找模型最弱的场景，然后专门造数据补：多语种、古籍手写、屏幕摩尔纹、扭曲光照。这一步决定了它在"真实拍摄"里不掉链子——Real5 那个95.24分，测的就是扫描、弯曲、翻拍、光照、倾斜这五种真实采集方式。

训练分三段，逻辑很清楚：先用 Q-Mask 文本锚定 把视觉局部区域和文字 token 的对应关系焊死，解决"看得见但定位不准"；再用 OCR持续预训练 拿百亿 token 的多任务混合数据打底；最后 混合任务强化学习，拿结构编辑距离、表格匹配度、问答准确率当可验证奖励，专攻难题。

💬 小军军点评：还有一个发现值得单独说。他们试过在训练早期就把视觉问答任务混进去，结果解析能力反而掉了——模型还没学会看清字，就去学怎么答题，注意力被分散了。但等解析基础扎实之后再引入理解任务，不但问答和抽取涨了，连纯解析的分数也跟着涨，最高多拿0.64分。这个规律对做微调的人有实际意义：别急着一次上全任务，先让模型把地基打牢。

四、三条接入路径，以及几个坑

小米这次开源得挺完整：模型权重、推理代码，加上浏览器交互式Demo、MCP服务、Agent Skill工具包。三条路对应三种人——

只想试试：打开网页Demo，传张图看效果，零成本。要接进业务：用 Hugging Face 权重自己部署，或者直接挂 MCP 服务进现有智能体，做文档解析和字段抽取。已经在用Agent：官方给了 Agent Skill，一句话让它自己装环境、下模型、跑本地Demo。具体口令和参数以仓库 README 为准，别照抄二手教程。

顺便说落地——这模型不是实验室玩具，它已经在小米手机的"超级小爱"里干活了：短按AI键或三指上滑，把外卖取餐码、快递取件码、排队号从一堆消息里捞出来"上岛"；识屏账单自动提取金额、商户、时间做记账；扫发票、身份证、银行卡提字段；群聊里的会议通知变成日程卡片。

⚠️ 所有分数都是小米自测。各家评测的提示词、后处理、切图方式都不一样，横向对比只能当参考，真想用必须拿自己的扫描件跑一遍。

⚠️ Real5 是"模拟"真实采集，不是真野拍。它是拿1355页标准文档做五种退化处理造出6775张，跟随手拍的歪斜照片还有距离。看 Wild-OmniDocBench 的87.94更实在——比95.24掉了7分多，这就是真实世界的折扣。

⚠️ 别当通用视觉模型用。0.8B的容量全砸在文档上了，让它认猫认狗、看街景，大概率不如同尺寸通用模型。专精是有代价的。

⚠️ 一次一页，长文档要自己切。它是单图理解，几百页的PDF得自己分页、排序、合并，别指望丢个PDF进去吐一本Markdown。

⚠️ 关键字段必须二次校验。金额、税号、账号这类，输出JSON后加一层规则校验（合计对不对得上、位数对不对），别直接入库。OCR的错误率再低也不是零。商用前，仓库里那份 LICENSE 才是准的。

五、为什么这期不写万亿参数那个

这一期我本来准备写 Mistral 那个1万亿参数的开源模型（10月29日放权重，确实是本周最大的新闻），但想了想还是换了。

原因很简单：1T参数的模型，你我谁也跑不动，看完只能"哦"一声。而0.8B这个，一张普通显卡、甚至一台轻薄本就能跑，能真正解决"47张发票"这种破事。

🤖 小军军观点：它给整个开源圈提了个醒——这一轮小模型的胜负，不在参数量，在数据工程。同一个底座，别人拿来直接用是72.9分，小米训完是83.2分。中间那10.3分不是算法奇迹，是1.7亿条被反复清洗、交叉投票、渲染比对的样本换来的。这话听着不性感，但它是真的。模型架构早就不是秘密了，谁能把数据洗干净，谁就能用1/10的参数打出同样的分数。

对普通人的意义是：以后文档识别这类活儿，不用再按页付API的钱了。装个模型在自己电脑上，一次装好，永久免费用，敏感文件还不用传出内网。这大概就是开源最实在的样子。

你手上有没有那种"每个月都要手工录一遍"的表格或票据？
评论区说说场景。
👍 点赞过50，下期出《Xiaomi-OCR-0 本地部署实操：一张显卡把发票批量转成Excel》

— 小军军的玩机技巧 · 让AI更好用 —

素材来源：小米技术官方发布（2026-10-30）、IT之家《小米开源0.8B参数OCR小模型》（2026-10-30）、快科技/腾讯新闻（2026-10-31）、Hugging Face 模型页 xiaomi-research/Xiaomi-OCR-0、GitHub xiaomi-research/Xiaomi-OCR-0