UI2App:设计稿没写的那一半,AI也猜不出来

前端工程师有个日常，外人不太看得见。设计师给一张静态图，图上有个删除按钮。你问删完之后是回列表页还是留在详情页，设计师说“你看着办”。你问购物车数量要不要全局同步，产品经理说“你看着办”。这些“看着办”的地方，就是后面返工最多的地方。

UI2App这篇论文，把这个“看着办”量化了。

它测的是截图转代码这件事里最容易被视觉相似度掩盖的一层：交互推断。只给静态截图，不给功能说明、不给点击轨迹、不给交互演示，模型得自己推断截图中隐含的应用行为，并把它实现成能跑的代码。

评测分四层。能不能构建运行，导航能不能走通，视觉保真度，交互推断得分。最后一层是核心，按功能正确性和状态管理复杂度打分。购物车用React Context实现也行，用Redux也行，用useState提升也行，只要添加后内容正确更新、跨页面状态保持正确，就得分。

结果：视觉保真度的领先者，在交互推断上只拿了7.5分，排名第四，落后交互领先者5.2倍。一半的受测模型在跨页面状态这个维度上得分为零。

一半模型零分。这个数字比“落后5.2倍”更值得琢磨。

跨页面状态是什么？商品页加了购物车，跳到结算页，之前选的东西得还在。用户后退再前进，状态得保持。这个能力在真实开发里是前端基本功，但在AI这，一半模型直接交白卷。根源不在模型不够大，在静态截图里根本没有“状态”这个东西。一张商品列表截图能告诉模型这里有商品、有价格、有加入购物车按钮。它不告诉模型点击之后哪个区域该变、变成什么、这个变化要不要跨路由持久化。这些信息在真实开发里来自产品文档、交互稿、或者对同类应用的先验知识。UI2App把这些全拿掉，只留像素，模型就得自己补。补得怎么样，一半零分。

这件事对前端和设计两个工种的意义，不在同一个方向上。

对前端来说，UI2App最有用的地方不是拿它生成代码，是拿它当规格探测器。把一组截图喂进去，看哪些交互被推断出来了、哪些没有。没推断出来的，就是设计师和产品经理需要补规格的地方。这件事在开发前做一遍，比开发完了再返工便宜得多。国内前端团队现在最耗时的环节，往往不是写代码，是等规格、猜规格、改规格。UI2App把这个环节从隐性变成显性，从“你看着办”变成“这里没定义清楚，补一下”。

对设计师来说，UI2App提醒了一件事：设计交付物里缺的那一层，可能比有的那一层更重要。Figma做得再精细，交互逻辑还是散的，散在原型图的点击热区里，散在PRD的文字描述里，散在开会时的口头沟通里。UI2App把交互规格单独拎出来当成一个可测量的维度，输入截图，输出结构化的交互规格：哪些元素可点击、点击后的状态变更是什么、跨页依赖是什么。这份规格可以喂给代码生成模型当显式提示，也可以当设计评审工具用，在开发前暴露截图中未被充分定义的交互。

但这里有个被普遍忽略的行业现实。国内设计团队和前端团队之间，长期存在一个规格转移的灰色地带。设计师默认某些交互是“常识”，不用写；前端默认某些交互是“惯例”，不用问。双方都以为自己知道对方在想什么，直到联调的时候发现理解不一致。UI2App的数据说明，这个灰色地带不只存在于人和人之间，也存在于人和AI之间。AI也猜不出来，而且猜不出来的地方和人类猜不出来的地方高度重合。

这指向一个更根本的判断。截图转代码这个方向，过去两年的竞争焦点是视觉保真度。谁的生成结果更像原图，谁就赢。UI2App说这个方向偏了。视觉相似度可以刷分，可以优化，可以靠更大的模型堆上去。但交互推断刷不了分，因为它要求模型理解状态、理解因果关系、理解跨路由的持久化范围。这些能力跟视觉能力几乎独立，视觉上的优势不能可靠地迁移过来。

商业化路径可以想得很具体，但不要按“三条路径”那种方式想。

最直接的是把交互推断得分嵌进截图转代码工具的质量门里。现在市面上大多数截图转代码产品，交付物停留在视觉还原加可构建。你生成一个原型，看着挺像，点下去能不能用全凭运气。加上交互验证这一层，生成候选之后自动检查购物车更新、表单提交、跨页状态保持是否真正工作，只把通过门槛的结果交付。差异化不在画得更像，在交付的原型真的能点。目标客户是产品经理、设计师、独立创业者，这些人要的是能拿去演示、能拿去测试的原型，不是能看的图片。

另一个方向是交互规格推断作为独立模块。这比嵌在生成工具里更有意思。输入一组截图，输出结构化的交互规格。这份规格可以喂给代码生成模型当显式提示，也可以当设计评审工具用。后者对设计团队的价值可能更大，因为它把“这个截图没定义清楚”这件事从隐性变成显性。国内设计团队现在做设计评审，评的是视觉、评的是布局、评的是品牌一致性。很少有人评“交互定义完整度”。不是不想评，是没有工具。UI2App的评估逻辑可以被工程化成这样一个工具。

多模型路由也值得看，但别想得太复杂。UI2App的数据说明没有单一模型在所有维度上领先。视觉最强的交互落后，交互最强的视觉不是第一。如果你在做多模型路由的产品，纯展示页用视觉领先者，交互密集型页面用交互领先者。这个策略需要可复现的选型依据，UI2App的benchmark结果提供了这个依据。

约束得说清楚。UI2App是预印本加基准，不是生产级SDK。代码和评测管线公开，但嵌进商业产品需要自己完成工程加固和用户界面封装。基准以桌面Web应用为主，结论不能直接外推到移动端原生应用或复杂桌面软件。视觉保真度和交互推断的独立性是在当前六个模型上观察到的，模型迭代后这个错位可能缩小。但“视觉好不等于交互好”作为一条需要独立测量的维度，不会因为模型变强而失效。

最后说一个观察。UI2App把一件事摆到了台面上：截图里没有状态，交互得靠推断，而推断这件事，人和AI都做得不够好。过去大家用视觉相似度糊弄自己，觉得画得像就等于能用。AI把这条路走通了一半，把另一半的窟窿暴露得更明显。承认这个窟窿，然后把它当成一个需要专门解决的工程问题，比继续用相似度指标自我安慰有用。前端和设计两个圈子，都该看看这篇论文里那个7.5分。

arXiv：https://arxiv.org/abs/2607.06306Git：https://github.com/chenmancm169/UI2AppDemo：https://chenmancm169.github.io/UI2App-ProjectPage/