乐于分享
好东西不私藏

京东开源能自己"看"视频 的AI:能左顾右盼分身有术的AI“眼睛”

京东开源能自己"看"视频 的AI:能左顾右盼分身有术的AI“眼睛”

你有没有这样的时刻——锅里水烧开了,手忙脚乱腾不出手;直播里精彩瞬间一闪而过,还没来得及喊"回放";孩子在客厅爬上爬下,你眼睛离开了几秒钟……

这时候你会想:要是AI能自己看着、自己判断、主动说句话,该多好。

问题在于,现在所有 AI 都是"被动应答"的。哪怕开了视频通话,你说它才答,你不说它就不动。豆包是这样,Gemini 也是这样。

但京东最新开源的一个 AI 模型,把这个逻辑彻底翻了过来。

这个模型叫 JoyAI-VL-Interaction

先划重点:6月20日左右,京东 Joy Future Academy 团队将在 GitHub 上全量开源这个项目。

名字有点长,咱们拆开看——

  • JoyAI
    :京东的 AI 品牌
  • VL
    :Visual Language,视觉语言
  • Interaction
    :交互

合起来就是:一个能"看"视频、能自己决定什么时候开口的 AI 模型。

更关键的是,它只有 80亿参数(8B),算力门槛很低,普通服务器就能跑。

注意:8B 是尺寸,不是性能差——很多 1000 亿参数的模型在"实时交互"这件事上反而不如它。

过去AI的方式:你问它答,像个客服

先理解一下现在主流 AI 的"不好用之处"。

你打开豆包或 Gemini 的视频通话助手,你觉得它是"看着你的"。其实不是。底层逻辑仍然是问答:

  1. 你说话 → 它截取当前画面 → 理解 → 回答
  2. 你不说话 → 它沉默
  3. 你又说话 → 它再截一张新的图 → 回答

这就像一个每次都要等门铃响了才开门的人。门铃不响,他就一直待在屋里,不知道外面发生了什么。

这种模式叫回合制(turn-based)。对聊天来说没问题,但当你需要它实时"盯着"什么东西变化——比如直播里的球赛、监控画面、或者锅里的水——它就完全跟不上了。

新AI的方式:一直在看,该说才说

京东这个模型的核心思路很朴素:让它像一个真正的人那样"在场"。

它不是等人提问。它——就这么一直看着视频流。每一秒,它自己判断三件事:

  • 现在该说话吗?
     → 有意思的事发生了,开口评论或提醒
  • 现在该沉默吗?
     → 一切正常,别瞎叨叨
  • 这个问题太难?
     → 交给后台更强的模型去处理,自己继续盯着

比如你让它帮你看直播足球赛:

  • 回合制AI:你问"刚才那个球进了吗?"它才去看回放
  • JoyAI:全程盯着直播,进球那一瞬间它就已经喊出来了

再比如你让它看着厨房:

  • 回合制AI:你喊"水开了吗?"它说"开了"
  • JoyAI:水刚冒第一个泡,它就告诉你"准备关火"

这才是"实时交互"的含义——不是"回得快",是"主动判断"。

技术上看,它是怎么做到的?

讲三个让你能理解的关键技术点:

第一,400万段"啥时候该说话"的训练数据。

京东团队人工标注了超过400万个视频片段,每一段都精确到"这一秒该不该说话、该说什么"。模型不是凭感觉在猜,而是真的学了"什么时候出声合适"。

第二,聪明的视频压缩。

实时看视频最费算力的是"每一帧都得看"。但很多帧其实变化很小(比如一个人坐着不动)。

JoyAI 用了一个叫 AdaCodec 的技术:变化小的画面,只花一点点计算力;画面真正变化了(比如有人走进来、球飞过球门),才花大算力去分析。这样它能连续盯住直播好几个小时,不至于被 tokens 撑爆。

第三,搞不定的交给"后台大脑"。

8B 模型不可能什么事都会。遇到复杂的推理问题(比如"帮我查一下这两个产品的价格对比"),它把任务扔给后台更强的大模型或 API,自己继续看着画面,等结果回来再告诉你。

实测结果:全面碾压豆包和 Gemini

京东团队做了 58 个真实场景的对比测试,让真人评委盲测打分:

场景一:监控告警(比如提醒"有人摔倒""出现黄牌")

  • JoyAI:100% 获胜
  • 豆包:0%
  • Gemini:0%

场景二:实时计数(比如数飞镖命中了几次)

  • JoyAI:70% 获胜
  • 豆包:0%
  • Gemini:0%

场景三:实时翻译字幕

  • JoyAI:80-100% 获胜
  • 豆包、Gemini:0%

综合全部场景,真人评委更喜欢 JoyAI 的比例高达 77%-88%

注意:豆包和 Gemini 背后的模型尺寸是千亿级别的。京东用 80 亿参数的模型,在"正确时机说话"这件事上,赢了百亿千亿的大模型。这不是算力碾压,这是设计理念的碾压

最酷的部分:全栈开源

京东这次没有只丢一个模型出来。

他们开源的是整套东西

  • ✅ 8B 模型权重
  • ✅ 完整的训练配方(别人可以照着训练自己的交互模型)
  • ✅ 400万段标注好的"该说话/不该说话"的训练数据
  • ✅ 一整套可部署的系统(接上摄像头就能跑)

6月20日左右,所有东西都在 GitHub 上。

这意味着全世界任何一个开发者,只要有一个仓库、一个摄像头,就能搭起来一个"一直看着你、该说话就说话"的 AI 助手。

更大的图景:京东的 AI 布局

这不是京东第一次在 AI 开源上发力。

今年 3 月,京东首次开源大模型,Token 消耗只有同行的四分之一到五分之一。

6 月初,他们刚开源了 JoyAI-Echo——一个能生成 5 分钟长视频的 AI 框架。

加上之前的 JoyAgent(智能体框架)和 OxyGent(多智能体系统),京东在开源 AI 上的投入正在形成一个完整的技术体系——从语言到视觉,从生成视频到实时交互,从单 agent 到多 agent 协同。

几点感受

第一,"交互模型"这个方向是对路的。把"什么时候说话"这个判断内化到模型能力里,而不是靠外面套一层逻辑去判断——这是从"假实时"走向"真实时"的正确路径。

第二,80 亿参数是个聪明的选择。实时交互场景对延迟极度敏感,模型太大跑不动,太小效果差。8B 刚好卡在普通服务器能跑、效果又够好的平衡点上。

第三,开源的力量在于放大。京东把训练配方和数据都公开了,全球开发者可以在它的地基上快速迭代。这意味着这个方向会以更快的速度进化。

当然,它也有局限。单个场景的理解深度上,豆包和 Gemini 偶尔还是更强——毕竟人家模型大得多。另外,语音识别和语音合成的质量也直接影响体验,这部分京东做成了"可插拔",效果取决于你接什么模块。

但瑕不掩瑜。去年大家还在讨论"AI 能不能看懂图片",今年已经有开源模型能看着水壶提醒你水烧开了

这个进步速度,一年前恐怕很难想象。

一句话总结

京东 JoyAI-VL-Interaction 即将在 6 月 20 日开源。这是第一个真正"在场"的 AI——它不等你提问,它自己看着、自己判断、该说才说。实时交互的未来,可能就从这里开始。

你怎么看?你觉得"会主动说话的 AI"会改变你的使用习惯吗?欢迎评论区聊聊。

— END —