模型看懂屏幕,离会用软件还有多远

论文分享 · 屏幕理解与可访问性 · AI方法

AI 生成的原创概念插画

“帮我点一下那个按钮。”对人来说，这句话有时比描述一张风景更容易理解；对模型来说，它需要同时知道哪个区域是按钮、文字和图标指什么、指令对应哪个目标。屏幕上的每个像素都很清楚，含义却未必跟着一起清楚。

ScreenAI 是 Google DeepMind 团队在 IJCAI 2024 发表的工作，研究界面与信息图的视觉语言理解。作者包括 Gilles Baechler、Srinivas Sunkara、Maria Wang、Fedir Zubach、Hassan Mansoor、Vincent Etter、Victor Cărbune、Jason Lin、Jindong Chen 和 Abhanshu Sharma。

论文关注屏幕标注、问答、目标定位和摘要等任务。它能为未来的软件助手提供组件，但文中的导航评估主要是定位目标区域，不能直接读成模型已经完成了可靠的多步软件操作。本篇和 Screen Recognition 配对，沿着“从看懂到可用”的路线拆开这些差别。

屏幕有自己的视觉语言

照片中的对象关系，常常来自物理世界；屏幕中的关系则有大量人为约定。同样一块灰色区域，可能是不可点击的背景，也可能是按钮；文字加下划线可能表示链接，也可能只是作者喜欢装饰。布局、边框、图标与文字一起承担含义。

信息图和界面也有相通之处。两者都用位置、分组、文字和视觉标记组织内容。ScreenAI 因此把 UI、图表、文档等任务放进一个训练方案，希望不同来源的能力能相互帮助，而不是为每种画面各造一个完全独立的模型。

这种统一并不意味着这些任务完全相同。读出图表数值，需要理解轴和图例；定位返回按钮，需要联系图标与指令；回答一页文档上的问题，需要找对相关文字。共同架构提供共享能力，各任务的数据和评价仍然需要分开。

如果把所有结果只写成“屏幕理解准确率”，很快就会失去对象。一个模型可能很会读显眼文字，却不擅长跨区域计数；可能定位大按钮不错，却分不清某个开关是否禁用。论文提供多个任务，正好允许我们观察这种不均衡。

长屏幕不该被硬压成方块

ScreenAI 沿用 PaLI 系列的视觉语言编码解码思路：视觉编码器把图像转成表示，与文字输入结合，再由解码器生成文本。界面标注、问答和位置输出，都被转成图像加文字输入、文本输出的问题。

屏幕形状差异很大。手机通常竖长，桌面窗口可能横宽，网页截图还可能特别长。固定网格切分若伴随拉伸或大量填充，会影响小文字和空间关系。ScreenAI 引入 Pix2Struct 式的灵活切块，按图像形状调整 patch 网格，同时控制总序列长度。

可以把它理解成给不同形状的页面安排合适的阅读网格，而不是先把所有页面挤进同一张方纸。长宽比得到照顾，但模型仍受输入分辨率和 patch 数量预算限制。密集小字或超长内容，并不会因为“灵活”二字就无限清晰。

论文比较670M、2B和5B三个规模，最大版本实际约46.2亿参数。这个5B是近似名称。不同规模的预训练起点也有区别，最大版本从 PaLI-3 多模态检查点出发，不能把规模曲线理解为只改变参数数量、其他条件完全不动的纯粹实验。

先给截图补一份结构说明

训练需要大量带语义的屏幕材料，人工逐张写问答很贵。作者先用一组专门模型生成屏幕标注：检测器找元素类型和边界框，OCR读取文字，图标分类器识别常见图标，图像描述模型补充图像与未覆盖图标的说明。

这些信息被汇成文本 schema，包含元素名称、文字或描述、归一化坐标，以及括号表达的简单层级关系。坐标被量化到0至999，使不同分辨率截图可以用统一形式描述。

这一步不只是为了给人读。结构化说明能把视觉内容送到语言模型手里，让后者据此生成训练任务。它也直接作为预训练目标，要求 ScreenAI 从截图恢复相应描述。因此，结构表示同时连接了数据生成与模型学习。

这里存在一条误差链。检测器漏掉元素，OCR读错文字，或者图标描述过于宽泛，都可能影响后续生成的问题和答案。语言模型可以把不完整说明写得很流畅，却不能凭流畅程度恢复原图中遗漏的证据。作者使用人工抽查等方式检查部分生成数据，但没有证明大规模合成标签全都正确。

让语言模型出题，必须说明题从哪里来

作者主要使用 PaLM 2-S，根据屏幕 schema 生成问答、导航目标与摘要训练样例。题目可以询问某段文字、统计项目数量、比较值，也可以要求找到“返回”对应的区域。预训练因此覆盖许多不同形式的屏幕任务。

从论文列出的数据量看，这是一项大规模工程。仅移动网页的自动屏幕标注就有2.62亿样例，另有移动应用、长网页、桌面网页和信息图等来源。不同任务在训练混合中按规模加权，同时设置权重上限，避免某个巨大来源吞掉全部训练机会。

合成数据的优势是数量和覆盖，风险则是重复某些模板化问题，或者继承生成模型的错误。真实用户会问很多不规整的问题：这里到底能不能编辑，为什么刚才操作没有生效，哪个信息是广告。这些问题不一定能从一张静态截图及其结构说明里得到答案。

微调阶段更多使用人工标注或校验的任务数据，并对特定任务进一步训练。预训练与微调的数据来源、规模和标签可靠性不同，论文对此作了区分。读到一个结果时，需要知道它是专门微调后的表现，不能自动当成同一模型零样本完成所有任务。

导航成绩不是整段操作成功率

论文将 RefExp 和 MoTIF 中的相关任务改写为目标检测，不给预先列好的候选框，要求模型输出一个目标区域。评价使用 IoU 阈值0.1，即预测框与目标框有一定交并比即可计为命中。这是相对宽松的位置标准。

ScreenAI 在论文报告的 MoTIF 未见应用划分上达到87.4。这个数字说明特定目标定位设置中的表现，不能写成87.4%的多步任务被自动完成。真实点击还要考虑按钮是否可用、位置是否因滚动改变、操作后页面是否符合预期，以及失败时怎样恢复。

尤其在小而密集的控件附近，一个大框可能达到宽松的重叠要求，框中心却不一定是最佳点击点。位置指标提供一种可重复测量，不等于替产品定义全部交互成功。把这一点说清，才能判断后续需要加哪些执行与验证环节。

这也决定了和配套 HCI 论文比较时不能直接看数字大小。Screen Recognition 研究移动端可访问性，还使用另一套检测标准、导航和用户体验评价。不同论文的任务、阈值、数据都不同，把它们排成一张“谁更强”的榜单会失真。

简单问答很好，复杂问答仍留着距离

在不额外输入 OCR 的设置下，ScreenAI 的 ScreenQA Short 得分为94.6，而 Complex ScreenQA 为42.4，二者采用问答文本匹配相关指标。较复杂的任务包含计数、计算、比较以及无法从屏幕回答的问题。这里的分差不应省略。

它说明“能读出眼前的文字”和“能组合多个区域的信息回答问题”仍是不同能力。复杂问答的失败，也未必来自同一个环节：可能漏了一个对象，可能把两行文字归错组，也可能在后面的运算中出错。只让模型再说得详细一点，并不保证修复了原始原因。

加入额外 OCR 输入之后，一些任务有所改善。例如多页文档问答的 ANLS 从72.9提高到77.1，InfographicVQA从61.4提高到65.9。OCR 不是免费的装饰：推理时需要相应结果，输入序列更长，也增加系统依赖和处理成本。

论文表格列出当时在不同规模模型之间的比较。有些任务达到作者报告的当时最佳，有些是同规模较优，有些仍落后。文章没有把这些历史结果改写成2026年的最新排名。评价时点是研究的一部分，旧表格不会自动随着年份更新。

两个设计决定，各有什么证据

作者在670M版本上做消融，比较固定网格与灵活切块。横向图像上，灵活切块的聚合表现更好；竖向图像上，固定网格略有优势。最终选择灵活切块，是面向多种形状的折中，不能概括成每一种长宽比都提高了。

另一项消融移除语言模型生成的预训练数据。加入这些数据后，作者计算的跨任务聚合分数提升4.6个百分点。这个结果支持合成数据在所用训练混合中的价值，但它并不意味着任何任务各自都提高4.6个百分点，也没有单独证明每种合成任务同样有效。

消融模型规模也要保留。主结果常来自5B版本，消融在670M上进行。这样的实验成本安排可以理解，但读者不能把小模型中的每项变化都当成已在最大模型上独立重复验证。

从识别结果到人的操作，中间还缺什么

假设系统已经找到一个向下箭头，它仍要决定怎样把它解释给人。这个箭头可能表示下载，也可能展开列表或移动排序。只描述视觉形状，有时足以定位，却不足以指导行动。配套的 Screen Recognition 用户研究里，就出现了需要使用者继续解释图标含义的情况。

一个真正可用的屏幕助手，还需要处理延迟、敏感信息、界面更新以及错误修正。ScreenAI 论文没有提供面向屏幕阅读器使用者的长期部署实验，也没有报告用户因它完成任务所节省的实际时间。它提供的是可复用的模型方法与基准证据，产品侧仍要补上工作流程评价。

公开资源也应分清。研究发布了 Screen Annotation、ScreenQA Short 和 Complex ScreenQA 等数据入口，相关仓库提供数据说明及部分评价代码；这些资源不等于完整的模型权重、全部预训练语料和生产系统。复现某项数据指标，与重建整个训练过程，是不同规模的工作。

对想做 GUI Agent 或无障碍工具的人，这篇论文适合拿来拆解“看懂屏幕”的组成部分：输入分辨率、布局表示、文字识别、定位阈值以及复杂推理。然后再把这些部件放回一次真实操作里，观察用户在哪里停下、哪里需要纠正。模型能指出按钮，最终仍要有人顺利地用上它。

ScreenAI，IJCAI 2024正式出版页^[1]

正式论文全文^[2]

Screen Annotation 官方数据集^[3]

ScreenQA 官方数据与评价代码^[4]

配套HCI论文：Screen Recognition^[5]

作者：Seminar of HCI。资料核对：2026年10月22日。