Runway想要在用户使用时实时生成软件,Solaris是其第一步

Runway发布了新型AI系统Solaris，作为其“界面世界模型”的首个成果。该技术通过实时交互生成视觉界面，消除了传统代码编写需求，使用户能直接与界面场景互动，预示着一种全新的应用交互模式。

译自：Runway wants to generate software as you use it. Solaris is its first step.^[1]

作者：Meredith Shubel

Runway^[2] 于周一发布了 Solaris^[3]，这是其称为“界面世界模型”（Interface World Models）这一全新AI系统类别的首个模型。该模型旨在摒弃将设计翻译为代码的传统流程，使视觉界面本身成为应用程序。

Solaris 是一个实时交互模型，它逐帧生成界面，并从用户的点击、拖拽和其他交互中学习，以决定下一步渲染什么。在 Runway 看来，这是迈向一种新型操作系统层级的初步尝试，在这种层级中，界面是实时生成的。

图像即应用

Runway 认为，传统的视觉界面需要设计师和开发者将设计转化为代码，并提前定义交互逻辑。而通过 Solaris，Runway 承诺完全跳过这一步骤。

“界面世界模型”同时处理渲染和交互，生成每一帧图像以及对用户输入的每一次响应，正如 Runway 所描述的那样，“整个画面变成了界面”。通过这种方式，界面不再是一系列页面的集合，而是一个持续生成的交互式体验，用户在其中“直接与场景本身进行交互”。

为了展示其愿景，Runway 提供了一些通过生成式界面实现可能性的示例：将货架上的衬衫拖放到自己的图片上；在房间里移动家具；看着沙拉碗随着你从一堆配料中拖放食材而发生变化。

实时学习、推理与渲染

Solaris 基于 Runway 的 Gen-4.5 视频生成模型构建，并沿用了其通用世界模型 GWM-1 的路径。它将用户的点击、拖拽和其他交互作为生成下一帧的信号。通过这样做，它学习了用户每次操作时视觉上应该发生什么，从而无需显式编程即可响应。

Runway 表示，他们减少了去噪步骤的数量，教导模型自回归地生成帧，并使用其自身输出进行训练，以在长时间会话中保持视觉质量。

通过摒弃将视觉设计转化为代码的实现步骤，用户看到的图像实际上就是应用程序。

它还将 Solaris 与语言模型配对，以分离推理和渲染。两者协同工作：语言模型负责解释用户请求，决定应用程序下一步应该做什么，并创建提示词来指导渲染。同时，Solaris 实时生成相应的行为。

Runway 认为，在传统代码界面上训练的代理（agents）在布局发生变化时往往难以泛化。它表示，Solaris 可以使代理在不断变化的界面和前所未有的布局上进行训练。

总而言之，Runway 的方法归结为三种新的软件能力：界面可以是视觉化的、“活的”且开放式的，能够持续响应用户操作。通过摒弃将视觉设计转化为代码的实现步骤，用户看到的图像字面上就是应用程序。

放弃翻译步骤能获得什么

Runway 进行了两项评估，比较了代码驱动的界面和生成式界面。

首先，包括 Claude Fable 5 在内的多个先进多模态语言模型被要求从单张截图重现网站界面。

在 30 个界面中，随着视觉效果变得复杂，重构质量持续下降，Runway 将此作为证据，表明通过中间表示法（intermediate representation）翻译界面会丢失信息。但由于 Solaris 直接在视觉界面上运行，该公司声称它能够从第一帧开始就保留界面完整的视觉和语义状态。

接下来，它测试了代码驱动的界面能否像“界面世界模型”一样重现“同样生动、响应灵敏的环境感”。

Runway 将 Solaris 与先进的语言模型 Claude Opus 5 进行了对比，给两个模型提供了相同的初始图像和交互请求。据 Runway 称，在近 7,500 次成对判断和 30 个交互示例中，参与用户研究的 250 名受试者在 61% 和 71% 的比较中，分别更倾向于 Solaris，认为它能更好地遵循给定指令，并在场景中表现得更自然。

Runway 表示，评估结果指出了代码界面和界面世界模型之间的根本区别：前者将每次用户交互视为对环境的孤立更新，而后者生成的交互在场景内保持连贯。

新操作系统层级的开端？

Runway 表示，预计界面生成将遵循图像和视频生成的发展路径，后续模型将不断提高速度、连贯性和可控性。

首先，它表示保持文本稳定和清晰是一项重大挑战，此外还有在长时间会话中保持连贯性、将生成锚定在更丰富且经过验证的上下文中，以及将生成的界面与软件栈的其他部分集成。

展望未来，它设想了一个新的操作系统层级，可以生成有用的界面以满足几乎任何用户需求。个性化店面和教程只是 Runway 提出的可能性中的一部分，它甚至提出质疑：应用程序未来是否还会是交互的基本单位。

Runway 表示，正在与合作伙伴合作公开推出 Solaris，并接受抢先体验申请。

引用链接

[1] Runway wants to generate software as you use it. Solaris is its first step.: https://thenewstack.io/runway-solaris-generated-interfaces/[2] Runway: https://runway.com/[3] Solaris: https://runway.com/news/research/introducing-solaris