乐于分享
好东西不私藏

给Codex装上千问插件后它已经能看视频、改CAD了

给Codex装上千问插件后它已经能看视频、改CAD了

作者 |路飞

来源 | 至顶AI实验室

Codex会写代码、改文件,这些大家都知道。但看完Qwen-MM-Plugins的官方仓库,我发现它现在连视频、PDF和CAD也开始碰了。

现在,把视频交给它,可以读画面、找时间点;把PDF交给它,可以定位页面和图表;接上FreeCAD后,它甚至能创建、修改和导出CAD模型。

关键不只是多支持了几种文件。Qwen-MM-Plugins把视觉、视频、文档和专业软件做成插件,直接接进Codex、Claude Code、OpenClaw、Qoder、Qwen Code和Gemini CLI。opencode、pi、QwenPaw也能手动配置。

千问这次没有再做一个新的Agent,而是给现有Agent添工具。我觉得这比再加一个聊天入口有意思。

它不是新Agent,是一套工具箱

Qwen-MM-Plugins更像一个插件仓库,需要什么能力,就单独装什么。

目前仓库里有7个包。core负责看图片、视频和文档;video-memory管长视频;omni-av处理音视频;video-edit负责剪辑和生成;Blender与FreeCAD对应3D和CAD;edu-agent则用来制作中文讲题视频。

这里面,Skill告诉Agent工具该怎么用,MCP服务负责把任务真正跑起来。

从官方架构图也能看出来:左边是一组组能力,右边是Codex、Claude Code、OpenClaw等Agent,中间的插件负责把两边接起来。

对用户来说,好处很直接。换Agent时,不必把常用能力也全部换掉。今天装在Codex里,之后改用Claude Code,很多插件仍然能接着用。

装上以后,Codex多了哪些本事?

先说最容易用上的:图片、视频和文档。

4K看板里的小字、PDF中的指定页面、票据上的金额、图片里的目标,都属于core的处理范围。办公用户最容易从这里感受到变化。

QwenWork中的插件面板

官方公开的一个案例里,Claude Code先读完一段视频,又打开一份35页PDF,最后把指定图表找了出来。放到真实工作里,就是让Agent在同一项任务中来回处理视频、报告和图片。

Claude Code读取视频并提取PDF图表

长视频和短片段,处理方式不一样

video-memory会先给长视频建立分层记忆。两个小时的课程、访谈或发布会,可以直接问主要观点、具体事件和对应时间,不用先手动切成几十段。

omni-av更适合短片段。它能给会议录音加时间戳和说话人标签,也能定位视频事件,统计某个动作出现了几次。

Codex调用视觉工具完成目标定位

再往前一步,它还能操作专业软件

Blender一侧有22个工具,覆盖建模、材质、灯光和渲染;FreeCAD一侧有14个工具,可以改参数化模型、导入导出STEP或STL,并调用部分工程分析能力。

CAD和3D最吸睛,但先别把期待拉得太高。官方已经列出了工具和接口,公开的完整案例却还是以图片、视频和PDF为主,Blender与FreeCAD到底好不好用,还得再看更多实战。

所以标题里说的“能改CAD”,是指它能操作FreeCAD,接手一部分步骤明确、结果可以验证的工作,不是替代工程师。

edu-agent也挺特别。给它一道数学题或科学题截图,它可以做成中文讲解视频或交互页面。这个包没有MCP服务器,主要靠Skill驱动模型完成画面和配音,效果还要看后续案例。

普通电脑能不能用?

可以,但先要弄清一件事:模型在哪儿跑,工具又在哪儿跑。

如果你本来就在使用Codex或Claude Code,模型推理通常还是在云端完成。电脑主要负责运行Agent、MCP服务和相关软件,所以不需要为了插件专门准备80GB显存,也不用先在本地部署超大模型。

基础的图片、视频和文档读取不一定需要额外API。OCR、视觉对话、语音识别、内容生成、音视频理解和联网搜索,则可能用到DashScope或Serper。视频处理还要准备FFmpeg,文档和3D任务也可能调用LibreOffice、Blender或FreeCAD。

硬件压力最终取决于任务。普通PDF、图片和常规视频,一般电脑就能处理;高分辨率剪辑、大型3D渲染和复杂CAD计算,吃的仍然是专业软件的性能。

Windows目前需要通过WSL2安装,部分模块的文档还在补充。项目主体采用Apache 2.0协议,Blender和FreeCAD组件中也包含第三方MIT代码。

目前看,这套插件更适合愿意花点时间配置、也清楚自己要做什么的人。能干的事不少,但离“装完就全自动”还有距离。

比插件本身更有意思的,是这个方向

Agent正在变成一个底座。缺什么能力,不一定非要等官方更新,也可以自己把工具接进来。

Qwen-MM-Plugins没有只服务千问,而是直接接入Codex、Claude Code和OpenClaw。这一点,比它列出了多少个工具更值得注意。

以后再挑Agent,不会只看模型够不够强。它能接什么工具,遇到长任务会不会中途掉链子,同样重要。

END
本文来自至顶AI实验室,一个专注于对AI计算机、工作站及各类AI相关硬件设备,开展基于真实使用场景评测的研究机构。