ARTICLE · 987720
一帧一帧把 App 画出来:代码这层"中间商",可能真要没了
凌晨五点多,我还坐在电脑前。
不是勤奋。是作息早就被这帮公司毁了。
然后刷到一条东西,睡意当场清零。
Runway 扔出来一个新模型,Solaris。
官方给的定位挺狠:这是一个叫「界面世界模型」(Interface World Models)的新家族里,第一个成员。
翻译成人话就是——
它不帮你写界面代码。它直接把界面,一帧一帧画出来。
你点一下,它生成下一帧。你拖一下,它再生成下一帧。
屏幕上那张画面本身,就是程序。
我盯着这句话看了得有一分钟。
坦诚的讲,我不是被"AI 又能生成 UI 了"吓到的。这种消息,这两年一周能来仨。
我是被"没有中间表示"这几个字吓到的。
先叠个甲:Solaris 目前只跟少数合作伙伴推进,官网挂的是早期访问申请表单。我没跑过,一帧都没跑过。所以这篇不是实测,是拆解。素材来自官方那篇长文,能核的数字我都回去核了一遍。
(行了,我知道你想看正文。)
一、先说清楚,它到底干了啥
我们今天的软件,是怎么长出来的?
设计师先出一张图。图很美,像素级还原。
然后呢?然后得有人把这张图,翻译成代码。
结构、样式、组件、状态,一层层搭。搭完,浏览器再把代码渲染成像素。
绕了一大圈,你最后看到的,还是像素。
Solaris 的做法是:中间那一圈,不要了。
一个模型,同时管"画成什么样"和"你动了之后发生什么"。整帧画面,就是交互层。
不用先定义按钮,不用先写事件回调,不用先猜用户会点哪。
它一边生成,一边接住你的动作。
这套打法我私下给它起了个外号,叫像素直出。
二、官方的暴论:代码,是一次有损压缩
这一段是我最喜欢的部分。因为它敢下判断。
官方的大意是:软件在出厂之前,所有可能的交互就已经被冻死了。开发那会儿想到的,你才能做;没想到的,你做不了。
而一个界面被翻译成代码的那一刻,信息就掉了一截。
视觉上掉一截,交互的可能性上再掉一截。
为了证明这不是嘴炮,他们做了一组重建实验:挑 30 个界面,从简单网页到图片密集的网页再到自然图像,让当下最强的一批多模态语言模型看着截图去复原界面,再用两套指标量还剩多少信息。一套是结构相似度 SSIM,比对复原结果和原图长得像不像;另一套用 DINOv3 特征,看原图里每一块内容,在复原结果里还找不找得着。
结论很朴素:界面越复杂,掉得越狠。自然图像掉得最惨。
道理其实特别好懂。你让一个人看着照片,用嘴描述给另一个人画出来,画出来能像才有鬼。
代码,就是那张嘴。
三、三个新能力,和几段演示
官方拿三个词概括这次的新东西。我按我的理解讲。
第一个,视觉即应用。
画面就是程序本体,底下没有另一套实现藏着。
官方举的例子是虚拟服装店:整个展厅就是界面。你传一张自己的照片当参考,把衬衫从货架上拽下来,往身上一拖,就试上了。想换个陈列,随手挪。
跟你在线下店里干的事,一模一样。
第二个,界面是活的。
因为每一帧都在被生成,所以它不是等你点了才动。
光变了,反射跟着变。东西被挪动,反应是连续的。
你可以张嘴就说:把桌子挪开点,我看看效果。或者:沙发换个颜色。
同一张起始画面,同一个拖拽动作,它甚至可以给出两种完全不同的反应。
第三个,开放式交互。
传统界面里,你能干什么,取决于开发那会儿有没有人想到你会这么干。
这套不一样:同一个场景,可以长出完全不同的玩法。
最骚的一段演示叫"重新定义鼠标":点一下画面里的猫,你接下来点到哪,哪就带上猫毛的颜色和质感。点一下墙上那幅画,你就开始用那幅画的风格作画。
还有个做沙拉的例子:配料一样样往碗里拖,界面一样样跟着反应。
菜单?不需要菜单了。你直接跟场景本身打交道。
说实话,读到这里我脑子里第一反应是——这不就是把"软件"这个词,重新翻译了一遍么。
四、它是怎么把速度压下来的
这节稍微技术一点。不感兴趣可以直接跳到第五节,我不介意。
Solaris 是在他们的视频生成模型 Gen-4.5 上改的,路子接着通用世界模型 GWM-1 往下走。
要把一个视频模型,改成能实时交互的东西,官方自己列了三道坎:
- 速度
。延迟一超过半秒左右,交互感就没了。而视频扩散模型出一段片子,要几秒到几分钟。做内容够用,做界面差着数量级。 - 一致性
。界面得在整段会话里保持稳定,不是生成三秒钟就完事。偏偏文字、布局、物体身份这些,正是生成视频历来最容易崩的东西,而且误差会越滚越大。 - 成本
。每帧现生成,当然比伺候一个建好一次的页面贵。他们说,让它变实时的那套工作,同时也把运行成本压到了比标准视频扩散模型低几个数量级。
实时化分三步走:先让模型自回归地出帧,每一帧只依赖它前面的帧;再把原本几十步的去噪过程,蒸馏成寥寥几步;最后拿这个快模型自己吐出来的结果反过来训它自己,保证长时间交互画面不糊。
画质目标写得很具体:720p,而且要能扛住整段会话。
还有一个我认为最关键的设计:推理和渲染,是分开的。
一个语言模型负责想——用户这句话什么意思、这次交互是改当前场景还是干脆切走、这个世界里的东西该有什么行为,然后把提示词交下去。
世界模型负责画——把上面这些决定,变成下一帧。
一个决定"该发生什么"。一个决定"看起来怎么样"。
这个分工,很聪明。
五、数字:61% 对 24%
光讲故事没用,看数据。
他们让 Solaris 跟一个顶尖语言模型(官方点名 Claude Opus 5)打了一架。同一张起始图,同一批交互要求,各写各的答卷。
然后找来 250 个人,30 组交互例子,做了将近 7500 次两两对比打分。
问两个问题。
第一问:谁更听话,更贴给定的指令?Solaris 61%,代码那边 24%,13% 打平。
第二问:谁在这个场景里表现得更自然?Solaris 71%,代码那边 21%,6% 打平。
第二个数字,比第一个更值得琢磨。
代码通常也能把你要的改动做出来,但它把这次交互当成一次孤立的更新:改个属性,刷个状态,完事。
而世界模型里装着物体、材质、环境该怎么表现的常识,所以它的反应,是跟整个场景一起动的。
一个在改元素。一个在改世界。
差别就在这。
六、短板:UI 画得挺好,字写得一言难尽
夸完了,讲缺点。官方自己列了四条还没解决的,我一条条说,顺便吐槽。
第一,文字。
稳定、清晰的文字,一直是视频生成里最难啃的骨头之一。偏偏界面这东西,对文字的依赖比几乎任何视觉领域都重。
我给这个现象起了个名,叫界面幻觉:模型幻觉是编事实,界面幻觉是编字形。你界面画得再漂亮,按钮上五个字糊掉俩,用户照样一脸问号。
官方给的过渡方案是混合系统:文字多的画面交给图像模型渲染(允许你稍微顿一下),连续交互的部分交给视频模型。全实时地把字写清楚,仍然是没解的题。
翻译一下:字先别现场画,行不行= =
第二,可信度。
这条我认为是四条里最要命的。
在教学、电商这类场景里,模型编得越像真的,越危险。一个自信满满的错答案,杀伤力远大于一句"我不知道"。
现在的对策是靠起始帧兜底:用真实商品图、真实参考素材起头,把场景锚在真实存在的东西上。往后怎么接进更多可验证的上下文(参考图、商品数据、文档),官方说还在研究。
第三,长会话。
聊得越久越容易跑偏。这是整个行业的老毛病,不是它一家的。
第四,无障碍与系统集成。
这条特别现实,也特别少人提:生成出来的界面,屏幕阅读器读什么?
过去界面底下好歹有一层结构化的东西喂给辅助技术。现在整张画面都是当场画的,无障碍接口该抓哪儿?
灵活性不能拿可用性去换。这句我是真赞成。
再叠一次甲:以上全部来自官方公开材料,加我自己的判断。我没有早期访问,一帧都没测过。哪位拿到号了,欢迎来打我的脸。
七、对三种人,我的三个判断
写到这,你可能会说:那我这行是不是要完?
坦率的讲,没那么快。但方向值得盯着。
1. 前端工程师:短期没事,长期换赛道。
它现在连稳定的文字都渲染不利索,也还没公开可用。别慌。
值得留意的是另一件事:这条路线一旦跑通,前端最值钱的那部分,可能会从"把设计稿变成能跑的东西",挪到"定义这个世界里什么算合法的行为"。
规则,会比像素值钱。
2. 产品经理:你的原型,可能不再是个假的。
以前原型就是一堆连线的静态图,你得反复解释"这里点了之后会怎样"。
以后原型也许一上来就是活的。省下来的那些解释成本,我猜会是这套东西最先落地的地方。
3. 设计师:这波是往你手里递东西的。
因为损耗那一环没了。你脑子里的东西,不必再被翻译一遍才动得起来。
前提当然是,这玩意儿真能跑起来。现在还没到那天。
顺便说一句我对"世界模型"这个词的意见:从生成视频,到生成游戏画面,再到今天生成界面,什么都能往这个筐里装。哪天有人说他家电饭煲搭载世界模型,我大概也就眨眨眼= =
概念先跑,产品后到。这行一直这样。
最后
我干过很多年研发,也做过很多年产品,见过太多次"这回真要变天了"。
大部分没变。少数几次,变了。
Solaris 现在还不是产品。它是一次押注:把界面从"事先写死的程序",改成"当场生成的画面"。
可能成,也可能不成。
但它戳中的那个问题,是真问题——我们做了几十年软件,一直在把丰富的东西压扁,压成代码能表达的样子,然后假装没有损失。
当生成一帧的成本,趋近于渲染一帧的成本时,代码这层中间商,就会开始被绕开。
那天真来了,"界面"这个词也许会消失。剩下的,是你想干嘛。
把渲染交给模型。
把意图,留给人。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。