你有没有这样的时刻——锅里水烧开了,手忙脚乱腾不出手;直播里精彩瞬间一闪而过,还没来得及喊"回放";孩子在客厅爬上爬下,你眼睛离开了几秒钟……
这时候你会想:要是AI能自己看着、自己判断、主动说句话,该多好。
问题在于,现在所有 AI 都是"被动应答"的。哪怕开了视频通话,你说它才答,你不说它就不动。豆包是这样,Gemini 也是这样。
但京东最新开源的一个 AI 模型,把这个逻辑彻底翻了过来。

这个模型叫 JoyAI-VL-Interaction
先划重点:6月20日左右,京东 Joy Future Academy 团队将在 GitHub 上全量开源这个项目。
名字有点长,咱们拆开看——
- JoyAI
:京东的 AI 品牌 - VL
:Visual Language,视觉语言 - Interaction
:交互
合起来就是:一个能"看"视频、能自己决定什么时候开口的 AI 模型。
更关键的是,它只有 80亿参数(8B),算力门槛很低,普通服务器就能跑。
注意:8B 是尺寸,不是性能差——很多 1000 亿参数的模型在"实时交互"这件事上反而不如它。

过去AI的方式:你问它答,像个客服
先理解一下现在主流 AI 的"不好用之处"。
你打开豆包或 Gemini 的视频通话助手,你觉得它是"看着你的"。其实不是。底层逻辑仍然是问答:
你说话 → 它截取当前画面 → 理解 → 回答 你不说话 → 它沉默 你又说话 → 它再截一张新的图 → 回答
这就像一个每次都要等门铃响了才开门的人。门铃不响,他就一直待在屋里,不知道外面发生了什么。
这种模式叫回合制(turn-based)。对聊天来说没问题,但当你需要它实时"盯着"什么东西变化——比如直播里的球赛、监控画面、或者锅里的水——它就完全跟不上了。
新AI的方式:一直在看,该说才说
京东这个模型的核心思路很朴素:让它像一个真正的人那样"在场"。
它不是等人提问。它——就这么一直看着视频流。每一秒,它自己判断三件事:
- 现在该说话吗?
→ 有意思的事发生了,开口评论或提醒 - 现在该沉默吗?
→ 一切正常,别瞎叨叨 - 这个问题太难?
→ 交给后台更强的模型去处理,自己继续盯着
比如你让它帮你看直播足球赛:
回合制AI:你问"刚才那个球进了吗?"它才去看回放 JoyAI:全程盯着直播,进球那一瞬间它就已经喊出来了
再比如你让它看着厨房:
回合制AI:你喊"水开了吗?"它说"开了" JoyAI:水刚冒第一个泡,它就告诉你"准备关火"
这才是"实时交互"的含义——不是"回得快",是"主动判断"。

技术上看,它是怎么做到的?
讲三个让你能理解的关键技术点:
第一,400万段"啥时候该说话"的训练数据。
京东团队人工标注了超过400万个视频片段,每一段都精确到"这一秒该不该说话、该说什么"。模型不是凭感觉在猜,而是真的学了"什么时候出声合适"。
第二,聪明的视频压缩。
实时看视频最费算力的是"每一帧都得看"。但很多帧其实变化很小(比如一个人坐着不动)。
JoyAI 用了一个叫 AdaCodec 的技术:变化小的画面,只花一点点计算力;画面真正变化了(比如有人走进来、球飞过球门),才花大算力去分析。这样它能连续盯住直播好几个小时,不至于被 tokens 撑爆。
第三,搞不定的交给"后台大脑"。
8B 模型不可能什么事都会。遇到复杂的推理问题(比如"帮我查一下这两个产品的价格对比"),它把任务扔给后台更强的大模型或 API,自己继续看着画面,等结果回来再告诉你。
实测结果:全面碾压豆包和 Gemini
京东团队做了 58 个真实场景的对比测试,让真人评委盲测打分:
场景一:监控告警(比如提醒"有人摔倒""出现黄牌")
JoyAI:100% 获胜 豆包:0% Gemini:0%
场景二:实时计数(比如数飞镖命中了几次)
JoyAI:70% 获胜 豆包:0% Gemini:0%
场景三:实时翻译字幕
JoyAI:80-100% 获胜 豆包、Gemini:0%
综合全部场景,真人评委更喜欢 JoyAI 的比例高达 77%-88%。
注意:豆包和 Gemini 背后的模型尺寸是千亿级别的。京东用 80 亿参数的模型,在"正确时机说话"这件事上,赢了百亿千亿的大模型。这不是算力碾压,这是设计理念的碾压。

最酷的部分:全栈开源
京东这次没有只丢一个模型出来。
他们开源的是整套东西:
✅ 8B 模型权重 ✅ 完整的训练配方(别人可以照着训练自己的交互模型) ✅ 400万段标注好的"该说话/不该说话"的训练数据 ✅ 一整套可部署的系统(接上摄像头就能跑)
6月20日左右,所有东西都在 GitHub 上。
这意味着全世界任何一个开发者,只要有一个仓库、一个摄像头,就能搭起来一个"一直看着你、该说话就说话"的 AI 助手。
更大的图景:京东的 AI 布局
这不是京东第一次在 AI 开源上发力。
今年 3 月,京东首次开源大模型,Token 消耗只有同行的四分之一到五分之一。
6 月初,他们刚开源了 JoyAI-Echo——一个能生成 5 分钟长视频的 AI 框架。
加上之前的 JoyAgent(智能体框架)和 OxyGent(多智能体系统),京东在开源 AI 上的投入正在形成一个完整的技术体系——从语言到视觉,从生成视频到实时交互,从单 agent 到多 agent 协同。
几点感受
第一,"交互模型"这个方向是对路的。把"什么时候说话"这个判断内化到模型能力里,而不是靠外面套一层逻辑去判断——这是从"假实时"走向"真实时"的正确路径。
第二,80 亿参数是个聪明的选择。实时交互场景对延迟极度敏感,模型太大跑不动,太小效果差。8B 刚好卡在普通服务器能跑、效果又够好的平衡点上。
第三,开源的力量在于放大。京东把训练配方和数据都公开了,全球开发者可以在它的地基上快速迭代。这意味着这个方向会以更快的速度进化。
当然,它也有局限。单个场景的理解深度上,豆包和 Gemini 偶尔还是更强——毕竟人家模型大得多。另外,语音识别和语音合成的质量也直接影响体验,这部分京东做成了"可插拔",效果取决于你接什么模块。
但瑕不掩瑜。去年大家还在讨论"AI 能不能看懂图片",今年已经有开源模型能看着水壶提醒你水烧开了。
这个进步速度,一年前恐怕很难想象。
一句话总结
京东 JoyAI-VL-Interaction 即将在 6 月 20 日开源。这是第一个真正"在场"的 AI——它不等你提问,它自己看着、自己判断、该说才说。实时交互的未来,可能就从这里开始。
你怎么看?你觉得"会主动说话的 AI"会改变你的使用习惯吗?欢迎评论区聊聊。
— END —
夜雨聆风