你的 AI 助手,其实一直＂看不见＂

那你试一件事——把一段视频甩给它，说"帮我看看这段讲了什么"。

结果大概是：它要么直接说做不到，要么绕一大圈——先把视频抽成帧，再调另一个模型去认图，把认出来的东西拼成文字，最后再回来跟你说人话。中间哪一步出岔子，它就当场装傻。

这不是它笨。是它缺一套感官。

先分清：它是"看不见"，不是"看不懂"

把话说准一点。

现在你天天在用的那些 agent 框架——Claude Code、Codex、Gemini CLI 这一类——基本是照着"文字"设计的。文本它处理得又稳又快；但图片、视频、声音这些东西，对它来说更像一门外语。

它不是完全没法处理。你可以自己写脚本：抽帧、调 API、拼结果。但这套活干下来，你做的事已经不是"让 AI 帮我看视频"，而是"我自己搭了一条视频理解流水线"。

差别就在这儿：它不是看不懂，是缺一个能直接看进去的入口。

它做的事，一句话：给 agent 配一套感官

通义千问团队开源的 Qwen-MM-Plugins，干的就是这件事。

它把自己定位成"让任何 agent 框架都变成原生多模态"的插件套件。翻成白话：你不用换掉现在用的助手，只要给它装插件，它就能直接读图、读视频、读文档。

装法也不玄乎。每个能力单独装，装成一个 Skill，外加一个可选的 MCP 服务，名字统一叫 `qwen-mm-plugins-<能力名>`。你按自己主模型是哪一档，挑对应的插件就行。

一条命令：

curl -fsSL https://raw.githubusercontent.com/QwenLM/Qwen-MM-Plugins/main/install.sh | bash

引导安装器认 Claude Code、CodeBuddy、Codex、Qoder、OpenClaw、Qwen Code、Gemini CLI 这几家；不在名单里的（DeepSeek Harness、Hermes Agent、opencode、pi、QwenPaw），它也给了一份手动装法。

装完怎么用？很简单——在对话里 @ 一个文件，然后正常说话：

@meeting.mp4 转成带说话人和时间戳的文字

@place.jpg 看看这张照片在哪拍的，再上网核一下

@lecture-2h.mp4 把要点列出来，标上时间戳

Skill 自己会去挑该用的那个工具，你不用记工具名。

这里头我最看重的是 `core` 这个基础件。它负责本地读图、抽视频帧、把文档和代码渲染出来给模型看。关键在于：它默认走"原生模式"，不需要任何 API key。 也就是说，装完这个，你的助手立刻就能"看见"本地文件，一分钱不花。

真正需要花钱的是 `api` 那一层——要接图、视频、音频的"深度理解"时，才需要配 DashScope 的 key（或者你自己搭的兼容服务）。视觉对话、OCR、目标定位、音视频转写、说话人分离、事件分析、ASR、图像分割——这些活都在它这儿。

我真正盯上的，是短剧出海那条链

如果说前面是"通用能力"，那下面这块，是跟我手头的活直接对上的。

它的 `omni-chatcut` 里有一条短剧翻译的路子。传统做法是：先转写、再翻译、再配音、再混音、再剪辑——五个环节五套工具，中间靠人协调，还得时时盯着"这个角色的声音有没有变、这句台词长了配不上口型"。

它把这条链整个交给了 agent 自己去编排：说话人是谁认得出来、对话按语境翻、配音保留角色原本的音色、音频重新混、最后还做一遍质量评估。

短剧出海最贵、最烦的那一段，恰好就是这段。你自己做过就知道，让几个角色的声音在十集里保持一致，靠手工是能磨死人的。

`omni-memory` 也值得单说。它给长视频建一份视听记忆：谁在场、谁说了什么、怎么说的、当时是什么声音。以后你问"第 40 分钟那个穿蓝衣服的人说了句什么"，它是从记忆里翻，不是把两小时视频重看一遍。

对做剧的人，这两个东西拼起来就是：素材能被记住，也能被换一种语言讲出去。

除了短剧，还有几样你八成用得上

顺手列几样，都是 README 里写着的。

`omni-video2note`，把一段教程视频变成图文并茂的 PDF。步骤拆开、关键画面自动挑出来，还会自己回头检查一遍。

`omni-skill-creator`，更有意思——你录一段"我是怎么操作某个软件的"，它能把这段演示变成一份可复用的 Agent Skill。等于你演一遍，它就学会一套 SOP。

`video-spatio`，专门答三维空间的问题：这个东西离镜头多远、在左边还是右边、相机怎么动的。有意思的是它的分工——感知交给模型，算数交给一套无状态的几何工具。几何那部分不用 key。

`edu-agent`，做中文的数学、理科讲解视频和交互页面，只吃 Node 和 ffmpeg。

再往边上还有 `blender` 和 `freecad`（驱动三维建模和参数化 CAD）、`nifti`（医学影像的 NIfTI 切片）、`search`（联网搜索，Serper/Exa/Tavily/Serply 任选），还有 `mhs`——那个是操作真实硬件的，摄像头、传感器、机械臂，带了宿主侧的安全限位和急停。

看出来了：这项目不只想让 AI"看见屏幕里的东西"，它是想让 AI 伸手去够现实世界。

顺带说一句，这项目从 8 月初首次发布到现在，一个多月里加了十来个能力，更新节奏相当快——你今天看到的这份清单，过阵子大概又不一样了。

但装完不等于万事大吉

好话说完，账也得算。

第一，别装错。 它的能力是按你的主模型分档的：VL 系列一档，Omni 系列一档。你主模型是哪一档，就装哪一档的插件。装错了，功能要么用不上，要么白占位。

第二，系统依赖比想象中多。 它靠 `uv` 提供 `uvx` 来按需装 Python 依赖，这部分还好。但视频要 ffmpeg，Office 文档要 LibreOffice，网页截图要 Chromium，Blender 和 FreeCAD 那两个还得真把软件装上。它不是"pip 一装就完事"的东西。

第三，有个坑它自己承认了。 README 里写得很直白：现在大多数 agent 框架还不能把音频原生喂给主模型，所以音频目前仍然走 API。 也就是说，"原生多模态"这件事，视频和图片已经落地得不错，音频还差一口气。

第四，免费和付费的边界要分清。 `core` 免费、不用 key；但只要你想要真正的"理解"（而不只是"看见"），就得接 DashScope 或者你自己搭的模型服务——那笔算力钱是你的。项目本身是 Apache-2.0，随便用，但模型调用不免费。

它补的是感官，不是判断力

我一开始就说，它不是让 AI 变聪明。

它解决的是另一个问题：AI 和你手里的素材之间，隔着一层没打通的东西。 你有视频、有图、有录音，它只有文字；中间要么靠你手动搬，要么靠你自己搭管道。

Qwen-MM-Plugins 把这层管道收进了插件，让它变成"@ 一下就行"。

但"看见"和"看懂"是两回事，更别说"判断"了。镜头对不对、这场戏要不要留、这个角色的声音换得对不对——这些它给不了你答案。它只是终于能把素材"看进去"了，至于看完之后怎么决定，还是你的活。

对我来说这就够了。我一直缺的不是一个更聪明的 AI，是一个能把我的素材看进去的 AI。

来源：Qwen-MM-Plugins 官方仓库（Apache-2.0）· 能力清单、依赖与安装方式引自其 README 与 官方 Hub 文档；短剧翻译、MV 生成、Video2Note 等智能体工作流引自 Qwen 团队 Qwen3.8-Omni-Flash 发布说明。

*我是AI剧-阿丙，记录转型创作的真实探索*