刚刚官宣!Om AI三天连发3款模型,物理AI的「端侧大脑」来了

过去一年，多模态模型越来越会看图、看视频、听语音，也开始把摄像头和屏幕变成新的交互入口。

但真正进入物理世界后，问题会变得更具体。摄像头一直在采集，无人机一直在飞，机器人也一直在移动。目标不会停下来等模型分析，环境变化也不会等一次离线请求结束。

对这些设备来说，AI 需要持续在场，持续接收视频流，持续更新状态，并在需要时快速响应。

今日，Om AI 联汇官宣在 6 月 27-29 日连续三天发布 VLX 端侧流式多模态模型系列，消息同步公布在全球最大的开源社区 GitHub，VLX 包括三款模型，分别是 VLX-Flow、VLX-Seek 和 VLX-Go。

三款模型连发本身已经足够抢眼，但更值得看的，是 VLX 如何组织面向真实设备的模型能力。

连续输入、动态环境、资源受限，才是物理世界给多模态模型提出的新约束，也直接推高了实时响应和端侧部署的要求。

VLX 更关心视频流如何在设备侧持续进入模型，并服务后续定位和行动。

这里的「端侧大脑」，指的是 Om AI 为真实设备场景设计的一套模型体系，而不是把云端能力简单搬到设备上。

VLX 由三层模型组成：

• VLX-Flow 负责流式理解与文本交互，让模型持续观察、增量记忆，并在任意时刻响应；

• VLX-Seek 负责细粒度视觉感知，把语义目标锚定到具体区域；

• VLX-Go 负责具身导航与执行，将单目视频和指令转成短时可执行航点。

三者对应的正是「先理解、再定位、最后行动」的端侧闭环。

〓VLX 将视频流连接到持续感知、精准定位与行动决策

从今天开始，我们会按照“持续感知—精准定位—行动决策”的顺序，连续三天解读 VLX 三款模型背后的关键技术。

第一篇先看 VLX-Flow，也就是视频理解最前置的问题：模型如何在用户提问之前，就开始观察、记忆并随时响应。

从离线视频到在线感知

过去讨论视频理解模型时，人们常常默认视频已经录好、截好、上传好了。

模型拿到完整视频后，再抽帧、编码、推理，最后回答用户问题。这套方式适合短视频总结、内容检索和离线问答，但真实设备中的视频并不按这个流程工作。

摄像头一直在采集，屏幕内容一直在变化，机器人第一视角也会随着运动不断更新。关键变化在输入形态上。视频不再只是离线文件，而是实时输入。

用户的问题可能出现在任意时刻，事件也可能随时触发。模型真正要维护的，是连续输入积累出来的视觉状态。孤立的一帧，或一段已经截好的视频，都不足以覆盖这个问题。

现有视频 VLM 大多绕不开两种取舍：

一种是全帧输入，把整段视频切成大量帧，一次性送入模型。这能保留更多信息，但计算量和延迟都会迅速上升，长视频很难持续运行。

另一种是固定采样，每隔一段时间抽一帧。这降低了成本，却容易丢掉动作细节。动作发生在两次采样之间时，模型看到的就会变成几个孤立画面。

对摄像头、机器人和无人机这类场景来说，视频理解的问题已经从能否看懂一段视频，转向能否把连续输入维护成稳定状态。

VLX-Flow 要处理的，就是这类在线输入问题。它让视频信息持续进入模型，并在推理过程中不断更新视觉上下文和语义记忆。

增量视觉上下文建模

VLX-Flow 的核心做法，是把视频拆成连续小片段。每个片段包含若干帧，并按时间顺序进入模型。

视觉编码器负责将新片段编码为语言模型可用的视觉表征；语言模型则维护一个可复用的缓存状态。新片段到来后，模型基于当前状态做增量更新，不需要把完整历史重新计算一遍。

旧信息会被压缩成状态，保留在模型可调用的记忆里，避免历史上下文无限变长。

这个缓存承担类似视觉记忆和语义记忆的角色，用来保留当前场景、主体、动作变化和最近交互历史。后续问题出现时，模型可以直接调用已经维护好的状态，不必重新读取整段视频。

例如，画面里一个人先拿起杯子，再走向门口，最后把杯子放到桌上。固定采样可能只捕捉到“拿着杯子”和“杯子在桌上”两个瞬间，中间动作链路断掉。

VLX-Flow 要维护的，正是这条连续事件关系。

与普通视频问答不同，VLX-Flow 维护的是一条随视频流更新的内部状态。

〓VLX-Flow 的流式输入、双层记忆与实时输出

双层记忆与低延迟推理

一旦进入在线推理，延迟和显存就会成为核心约束。历史越长，推理成本越不能失控。

在标准自注意力机制里，序列变长通常意味着更大的 KV Cache。历史信息不断积累，显存和计算压力随之上升。

对离线问答来说，这可能只是成本问题；对摄像头、机器人和边缘终端来说，它会直接影响系统能否稳定运行。

VLX-Flow 的语言模型包含 Linear Attention 模块。它通过可递推状态保留历史信息，每次只做增量计算。

Linear Attention 主要解决两类压力：

• 视频流持续进入时，模型不必反复重算完整历史，首 token 生成时延和连续交互延迟更稳定；

• 长视频场景里的主要压力也会从单帧编码转向历史状态累积，可递推状态可以在保持语义连贯的同时减轻显存压力。

这套在线记忆主要由两部分支撑。

第一层是视觉缓存，保留最近时间窗口里的画面细节，包括动作、位置、主体状态和短时变化。

第二层是文本承接层，用来保留连续描述、用户问题和回答，维持更长程的语义上下文。

多轮交互时，这一承接层会在合并、裁剪或回放过程中同步模型内部缓存，避免文本历史和模型实际记忆状态错位，而非把文本历史机械累加。

TTFT 对比图更直观地展示了这种差异。图中横轴是输入图像数量，纵轴是首 token 生成时延（TTFT）。

〓输入图像数量持续增加时，VLX-Flow 仍能保持较低且稳定的 TTFT

橙色曲线是 Full Attention，随着历史上下文变长，TTFT 持续上升；绿色曲线是 SlideWindow，通过窗口重置限制历史长度，因此呈现“上升—重置—再上升”的波动趋势；红色曲线对应 VLX-Flow，通过双层记忆机制压缩历史状态，使 TTFT 在长序列输入下仍保持较低且稳定。

放到真实交互里，TTFT 直接影响用户随时提问后的等待体验。历史越长，这种稳定低延迟越能体现 VLX-Flow 相比离线问答的价值。

流式记忆训练范式

VLX-Flow 的能力不止视频问答。更基础的一步，是让模型学会连续视频描述，也就是 Stream Memory。

这里的描述面向连续视频流，核心不在单帧 caption，而在接续此前状态。

模型需要把场景、主体、动作、物体状态、镜头变化等信息逐步写入可复用语义记忆，并保留谁还在继续做什么、物体位置如何变化、刚才出现的目标是否还在等时间连续性信息。

为了训练这种能力，VLX-Flow 使用了一套专门的流式理解数据构造方式。

以短视频窗口为基本单元，比如将 16 秒视频划分成连续 2 秒片段。每个片段对应一句简洁、客观、与视觉内容严格对应的流式 caption。

模型按时间顺序接收这些流式描述，并生成对应的 stream memory。这个观察阶段不涉及问答，目标是把连续视觉信息写成可递推的记忆状态。

之后，在后续某个时间点给出问题。例如证据出现后 10 秒或 1 分钟再提问。模型必须基于此前累积的记忆回答，不能回头重看视频，也不再把完整历史视频打包成一次离线请求。

这套数据构造方式把观察和回答分开训练。stream_memory 监督模型如何压缩视觉历史，question 则对应后续问答，用来检验这段历史能否支持有效推理。

等用户提问时，关键变化已经写入语义记忆，模型可以直接据此作答。例如在视频播放、摄像头运行或屏幕录制过程中，用户可以直接问“画面里有几个人”“刚才谁离开了”，系统不必重新打包整段历史视频。

这套机制也可以扩展到事件触发式交互。人员进入、物体遗留、异常动作、画面变化或指定目标出现时，系统可以主动生成提醒，减少事后回看和查询。

从工程角度看，VLX-Flow 把视频理解从按需调用的接口，推进到持续运行的感知模块。

过去的模式，是有问题时再上传视频、编码、推理、回答。放到摄像头、机器人和边缘终端上，这意味着每次交互都要重新搬运和解析一段历史视频。

VLX-Flow 更接近真实设备的运行方式：视频处理前移到本地，模型在运行中维护状态，语言生成只在交互或事件触发时介入。系统因此不用反复上传和重算完整历史，也更适合端侧或边缘节点部署。

摄像头不会每隔 5 秒才看一眼世界，机器人也不能只在用户提问时才观察环境。模型进入物理世界后，感知不再是一次性请求，而是一种长期运行的状态。

合适的时刻，它需要把视觉理解转成语言、提醒，或后续行动模块可用的结构化信息。

顺着 VLX 的链路往后看，VLX-Seek 解决目标在哪里、是哪一个的问题，通过区域指代把语义目标锚定到具体视觉区域；VLX-Go 则负责把视觉输入和指令转成短时可执行航点，进一步接到导航、跟随和避障任务中。

下一篇，我们会继续看 VLX-Seek。问题将从模型如何持续看见世界，推进到模型如何准确知道自己看见的是哪一个目标。

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧