夜雨聆风学习资料网

ARTICLE · 1323730

AI与内容创作:这个364星的开源桌面软件把短视频的转写翻译配音和导出压进了五步

AI与内容创作:这个364星的开源桌面软件把短视频的转写翻译配音和导出压进了五步
今天我们看一个 GitHub 上的 AI 应用项目《CapCap 短视频本地化配音工具》(notepower2k1/CapCap)。它把一条短视频从听写原话、AI 翻译、重新配音到出片的整条流程放进一个 Windows 软件,对想把视频做成越南语版本、面向东南亚市场的出海卖家和自媒体作者,它省掉的是在四五个工具之间来回倒文件的功夫。

全文约 2749 字 · 阅读约 7 分钟

项目信号:★364,forks 243,主要语言 Python,Apache-2.0 协议,2026 年 3 月 16 日创建,今天(11 月 1 日)仍有提交,open issues 17 个。forks 数约为星数的三分之二,据此推断不少人拿它的代码去改自己的版本。

关键词及解析:

  • STT
    :语音转文字,把视频里的人声听写成带时间轴的字幕。
  • OCR
    :从画面里识别文字,用来提取视频上已经烧进去的字幕。
  • TTS
    :文字转语音,把翻译好的字幕读成新的配音。
  • CapCut Draft
    :剪映国际版的工程文件,导出后可以在剪映里接着剪。
一、运作机制

CapCap 卖的是流程的整合,转写、翻译、配音用的都是别家的模型和服务,它负责把这些步骤串起来并保持时间轴对齐。 README 把流程写成五步,依次是准备素材、转写(STT 或 OCR)、AI 翻译、配音(TTS)、导出,用户在一个工程里顺着走完。

翻译一环可选的引擎很多,有 Gemini 2.5、GPT-4o、DeepSeek,也有能离线运行的 Ollama,以及谷歌和必应翻译。README 提到一个针对越南语的设计,软件会先分析视频里人物之间的关系,再决定称呼怎么译,用户也可以用一句话纠正称呼。越南语的人称代词随长幼和亲疏变化,机器翻译在这里最容易出错,作者把功夫花在这一处,说明它是照着真实的越南语配音需求做的。

配音一环同样可以切换,ElevenLabs 音质最好但收费,Piper 可以离线,Edge TTS 和 CapCut TTS 免费可用,VieNeu TTS 支持克隆音色。软件会把原视频的人声和背景音乐分开,换掉人声、保留背景音乐,这一步决定了成片听起来像原版重配还是粗糙的画外音。

notepower2k1/CapCap 项目结构

对着结构图看,代码都在 `app/` 下面。`asr_options.py` 管语音识别的参数,`engines` 目录按名字看应当是各家翻译与配音引擎的接入层,`audio_mixer.py` 负责把新配音和背景音乐混在一起,`layers` 对应时间轴上的字幕、Logo、模糊和遮罩等图层,`media_decode.py` 处理视频解码,`capcut` 目录对应导出剪映工程的功能。以上分工据文件名推断。

它对内容作者最实用的一个设计,是改完一句字幕可以只重新生成这一句的配音。 README 写明时间轴上可以逐句修改,改完立刻重配这一句,不用整条重跑。翻译总有几句要人工改,局部重做让返工只落在出错的那几句上。

二、上手难度

评级为中。 README 提供了发布版下载,普通用户装好就能打开界面操作,不用碰命令行。麻烦在环境和语言两头。

环境方面,它只支持 Windows。视频预览用的是 libmpv,README 专门写了一段排错,预览启动不了时要先装微软的 Visual C++ 运行库(安装包已附在 `installer` 目录里)。导出的硬件加速只支持英伟达显卡的 NVENC,没有英伟达显卡也能导出,只是会慢一些。硬件下限见 `docs/requirements.md`。

语言方面,README 只有越南语和英语两个版本,演示视频放在 TikTok 上,我国用户看说明、看演示都要多费一道手。项目的主题标签写着 vietnamese,README 也说它是为越南语内容生产设计的,翻译成中文或其他语言效果如何,README 没有说明。

软件本身免费开源。走免费路线时,可以用 Ollama 或谷歌翻译加 Edge TTS,不花 API 费;想要更好的译文和音色,就要自己申请 Gemini、OpenAI 或 ElevenLabs 的密钥,按用量付费,这些境外服务在国内调用还要另外解决网络问题。

三、收益估算

它能挣到的钱来自越南语本地化这门具体的手艺,市场比中文内容窄,竞争也少一些。 README 没有收益数据,以下为估算。

第一条路径是服务自己的出海生意。假设你在做面向越南的跨境电商或短视频账号,原本请人翻译配音,按每条一分钟的视频外包 50 至 150 元估算,每月 30 条就是 1500 至 4500 元。用 CapCap 自己做,省下的大致是这个数,但要扣掉你校对译文的时间。你若不懂越南语,就得找懂的人逐句把关,否则译错的称呼和语气会直接伤到商品口碑。

第二条路径是对外接本地化单子。假设你本人懂越南语、每周投入 10 小时,按每条 30 至 100 元报价、每月接 20 至 60 条估算,月收入约 600 至 6000 元。区间这么宽,是因为单价和单量都取决于你有没有稳定的客户,这部分工具帮不上。

有一条约束要单列。CapCap 提供模糊、遮罩和加 Logo 的图层,把别人的视频翻译配音后重新发布,本身就涉及著作权,用遮罩盖掉原作者水印更是平台明令处罚的做法。只处理你自己拥有或客户授权的素材,这门生意才做得长久。另外,我国自 2025 年 9 月起施行《人工智能生成合成内容标识办法》,AI 合成的配音在国内平台发布要按规定标识,发到海外平台也要看各平台自己的 AI 内容规则。

四、启动成本

软件零成本,启动开销主要是一台 Windows 电脑和你校对译文的时间。 已有一台能流畅剪视频的 Windows 电脑,启动成本只是下载安装和熟悉五步流程,熟悉剪辑软件的人约半天。

付费部分可以按需加。按 README 列出的引擎估算,翻译用大模型 API,一条一分钟视频的字幕量很小,单条费用通常在几分钱到几毛钱之间;配音若用 ElevenLabs,要按它的订阅档位付费,每月几十到几百元不等。全走免费引擎时,现金支出可以接近零,代价是译文和音色的质量要多花时间修。

回本周期取决于第一条还是第二条路径。给自己的账号用,第一个月省下的外包费就能覆盖 API 开支;对外接单,回本要看第一批客户多久到位,可能一个月,也可能一直没有。

已经在做越南市场、手里有正版素材、身边有人能校对越南语的团队,值得装上试一周;只做中文内容、或者用 Mac 的人可以略过;想拿它批量翻译他人视频去引流的人不适合。

来源:CapCap,notepower2k1/CapCap,https://github.com/notepower2k1/CapCap ,★364,Apache-2.0 协议。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料