一天解读一篇AI论文:用两篇论文顶级论文,来解释豆包冤枉小狗偷吃零食.

Vision Transformer，简单来说就是把图片切成小patch，再送进模型里面理解的。

但视频不一样。视频可不是“很多张图片叠在一起”那么简单。

视频里最重要的东西，往往不是某一帧里有什么，而是：

上一秒，下一秒，发生变化了吗。

这也是为什么豆包视频里会出现一个很有意思的翻车：

画面里有一只狗，桌上有一块肉干。人离开视野后，用手把肉干拿走。豆包当时没反应。等过一会儿再问它：“是不是狗偷吃了？” 它开始冤枉狗。

这个问题，刚好可以用两篇论文来解释。

第一篇为主叫 Tracking the Truth，它讲的是视频大模型为什么需要“对象级时空监控”。

[2605.08974] 追踪真相：面向视频大型语言模型的对象中心时空监控

第二篇为辅叫 VSTAT，它讲的是“视觉状态追踪”。

[2606.03920] 多模态视频理解中视觉状态跟踪的基准测试

所以豆包为什么会这么“笨”呢？

先看第一篇论文：Tracking the Truth

视频大模型在动态场景里，为什么会产生看似合理、但事实错误的回答。

论文作者把这个问题归因于一个能力缺口：

时空监测失败。

翻成中文，就是：

时空监控失败。

这里的“监控”，不是监控摄像头那个意思，而是模型能不能在一段视频里持续维护三个东西：

对象身份，对象状态，对象关系。

这三个东西一旦断了，视频理解就会出问题。

比如豆包这个案例里，画面中至少有三个关键对象：

狗，肉干，手。

如果只是普通识别，模型只需要知道：

这里有一只狗。地上有一根肉干。

但 Tracking the Truth 这篇论文强调，视频理解不能停在这一步。

视频里真正重要的，不是“某一帧里有什么”，而是这些对象的状态在时间里怎么变。

也就是说，模型应该维护一条对象轨迹。

狗的轨迹是：

狗在画面里。狗靠近或者没有靠近肉干。狗有没有接触肉干。

肉干的轨迹是：

肉干一开始在地上。肉干后来还在不在地上。肉干消失前，最后和谁发生了接触。

手的轨迹是：

手有没有进入画面。手有没有接触肉干。手离开后，肉干的位置是否发生变化。

这是以对象为中心的时空监测的理论基础。

论文还提出了一个方法叫 STEMO-Track。

STEMO-Track 的流程是：

把视频切成时间片段，再从每个片段里抽取对象状态，把不同片段里的同一个对象连起来，形成结构化的对象轨迹，最后再根据问题检索相关轨迹来回答。

这一步很重要，因为它把“回答问题”和“构建视频记忆”分开了，也就是说，模型不是等用户问了，才临时回忆画面。而是在回答之前，先建立一套对象级的时空记录。

豆包可能完成了对象识别，但没有完成对象级时空监控。

它看到了狗，也可能看到了肉干。

但它没有稳定记录：

肉干从“在地上”到“消失”的状态变化，以及这个变化是由“手接触肉干”造成的，而不是由“狗接触肉干”造成的。

于是事后用户问：

是不是狗偷吃了？

模型缺少可靠的对象轨迹，只能退回到局部线索和常识先验。

局部线索是：

画面里有狗。

常识先验是：

狗可能吃掉食物。

所以它生成了一个听起来合理、但和真实事件链不一致的答案。

第二篇论文是 VSTAT

如果说 Tracking the Truth 讨论的是“模型应该怎样建立对象轨迹”，那 VSTAT 讨论的就是：

现在的视频多模态大模型，到底有没有能力追踪视觉状态。

这篇论文的目的不是提出一个新模型，而是提出一个专门测试 Visual State Tracking 的 benchmark。

VSTAT关注的不是某一帧识别准不准，而是模型能不能在一段视频中持续追踪：

实体有没有出现，状态有没有变化，事件有没有发生，变化前后是否能连起来。

论文构建了 834 个视频片段和 1500 个问题。关键点是，这些问题不能靠单帧回答，也不能靠几个局部片段回答，必须整合整个视频流里的状态变化。比如一个物体从 A 位置移动到 B 位置，或者一个对象先出现、被遮挡、再消失，模型必须持续更新状态，才能答对。

放回豆包这个案例，VSTAT 解释的是：

模型不是不会推理“谁拿走肉干”。

狗没有碰肉干。手碰了肉干。肉干随后消失。

语言模型大概率能推出：不是狗。

但问题是，在视频里，这些事实不是现成给它的。

模型必须自己从画面中完成视觉状态追踪：

肉干：在地上 → 被手接触 → 消失。狗：在画面里 → 没有接触肉干 → 仍在画面里。手：进入画面 → 接触肉干 → 离开。

VSTAT 的核心结论也正好指向这里：

很多 MLLM 并不是文本推理完全失败，而是没有视觉感知到它需要追踪的事件，豆包的问题不是最后那句回答才错了。

真正的错误更早发生：

它没有把“手接触肉干并导致肉干消失”识别成一个需要持续跟踪的视觉状态变化。

所以第二篇论文补上的，是第一篇论文的验证视角：

Tracking the Truth 说模型需要对象轨迹。

VSTAT 则说明，当前视频大模型在“持续追踪视觉状态”这件事上，确实还不稳。