熟悉 AI 开源圈的朋友一定听过 browser-use,当年凭借让 AI 自主操控浏览器的能力狂揽十万 + Star,是去年现象级 AI Agent 项目。

这支团队近期再放出重磅新作 video-use,一经上线火速冲上 GitHub 日榜,短短两个多月 Star 突破 1.3 万,主打把剪辑全流程交给 Claude Code、Codex 这类 AI 助手,不用打开剪映、PR,丢素材说需求就能直接导出成片。
实测完整走了一遍整套工作流,今天把项目原理、完整流程、优缺点一次性讲透,自媒体、做教程、录访谈的开发者都可以收藏备用。

一、什么是 video-use?一句话看懂核心用法
video-use 是一套完全开源的 AI 剪辑专用 Skill 插件,专门适配带 Shell 运行权限的各类 AI 编码助手,Claude Code、Codex、Hermes、Openclaw 全部兼容。操作逻辑极简:
拍摄好所有原始素材,统一放进同一个文件夹; 打开对应 AI Agent,简单描述成片需求,比如 “把这些素材剪成一条对外发布的口播视频”; AI 自动盘点全部素材,输出完整剪辑方案等待你的确认; 确认后全自动执行剪辑、调色、加字幕、处理音频,最终在文件夹内 edit目录生成final.mp4成片。
不管是知识口播、产品教程、旅行混剪、人物访谈,各类实拍素材都能适配。开源地址:https://github.com/browser-use/video

二、核心创新思路:不让 AI 逐帧看视频,而是 “读” 视频
市面上绝大多数 AI 视频工具,处理逻辑都是把完整视频拆解成数万帧图片丢给大模型识别,这种方式弊端极其明显。举个简单测算:一段 20 分钟常规口播素材,每秒 30 帧,整体三万多帧,单帧处理需要 1500token,整体消耗四千五百万 token,不仅成本爆炸,海量像素信息还会淹没音频核心台词,模型很难抓住剪辑重点。

video-use 直接换了一套更高效的双层处理架构,思路和 browser 一脉相承(当年 browser-use 不靠截图,靠结构化 DOM 让 AI 理解网页):
第一层:音频转录核心层(永久启用)
调用 ElevenLabs Scribe 工具解析全部音频,生成带逐字时间戳的文本文稿,自动区分不同说话人,识别停顿、笑声、掌声、语气填充词。所有素材信息会压缩成仅 12KB 的 markdown 文件,这是 AI 做剪辑判断的核心依据,极低开销就能掌握完整台词节奏。
第二层:可视化辅助层(按需调用)
只有 AI 遇到难以判断的镜头时,才会调用timeline_view生成合成预览图,整合胶片缩略图、音频波形、文字标注,仅在关键决策节点调取画面,不会产生多余 token 消耗。整套方案只用少量文本 + 少量合成图,就能完成数万帧素材的剪辑判断,效率差距肉眼可见。
三、自带质检流水线,把剪辑做成标准化工程
很多 AI 剪辑工具只做单次渲染,画面跳变、音频爆音、字幕遮挡等问题全靠人工自查,而 video-use 设计了闭环生产流水线,自带多层自检机制:完整链路:音频转写 → 文本打包 → AI 制定剪辑方案 → 生成 EDL 剪辑脚本 → 渲染成片 → 自动评估修正
渲染完成后系统会逐一切换点检测画面断层、音频杂音、字幕遮挡异常,一旦发现问题自动修复,最多支持三次重新渲染,只有全部质检通过的版本才会给到用户预览。
仓库SKILL.md中明确了 12 条硬性剪辑规范,从根源规避成片瑕疵:
所有字幕最后叠加,避免动画图层遮挡文字; 每一处剪辑切点增加 30 毫秒音频淡入淡出,彻底消除爆音; 剪辑分割线严格卡在单词边界,不会把一句话从中间切断; 时间戳存在 50-100 毫秒偏移,切点前后预留 30-200ms 缓冲画面; 动画素材启用多并行子 Agent 同步生成,互不阻塞渲染流程。
四、实测真实体验:优势与现存短板
亮眼优势
自动清理冗余内容:素材里大量 “嗯、啊”、卡顿停顿、重复开场白会一键剔除,不用手动逐段裁剪; 字幕精度拉满,自动按短句分块生成,样式支持自定义修改; 内置多种调色方案,电影暖调、中性高清风格一键套用,也能自定义 FFmpeg 调色参数; 会话进度保存在 project.md文件,隔几天重新打开项目,能延续上次剪辑进度。
目前明显不足
画面匹配能力偏弱,无法精准根据台词挑选适配镜头,素材画面搭配容易违和; 成片存在画质压缩模糊问题,对高清成片有需求的场景不太友好; 输出效果高度依赖指令详细程度,只简单一句 “剪成视频”,成品效果普通;细化分镜、画面要求后,成片质量会明显提升。 
五、极简安装 & 使用步骤
1. 一键部署指令
直接复制下面这段话发给你的 Claude Code,Agent 会自动完成克隆、依赖安装、插件注册全套流程:
plaintext
帮我部署 https://github.com/browser-use/video-use,先完整阅读install.md完成环境配置,安装ffmpeg,配置好ElevenLabs密钥,再查看SKILL.md熟悉日常剪辑指令,后续只需要把素材放入文件夹再通知我,不用自行转录素材。
2. 手动部署备选(自主操作)
plaintext
# 克隆项目并软链接至Claude插件目录 git clone https://github.com/browser-use ~/Developer/video-use ln -sfn ~/Developer/video-use ~/.claude/skills/video-use # 安装依赖 cd ~/Developer/video-use uv sync brew install ffmpeg # 配置密钥文件 cp .env.example .env
密钥获取地址:https://elevenlabs.io/app/developers/api-keys
3. 开始剪辑
素材全部放入独立文件夹,终端进入目录启动 Claude,输入你的剪辑需求,等待 AI 输出方案确认后即可等待成片导出。
写在最后
现阶段各类 AI 大多只能生成短短几秒素材,而 video-use 瞄准实拍素材自动化后期,把删冗余、加字幕、音频优化这类重复性体力工作交给 Agent,大幅降低剪辑耗时。
不过它定位是辅助工具,暂时还无法替代专业剪辑师的创意分镜把控,适合批量产出口播、教程类短视频,追求高质感创意短片仍需要人工微调。
有批量剪辑需求、长期使用 AI 编码助手的开发者,可以拉取项目上手实测。

夜雨聆风