你有没有想过让自己的声音出现在视频里面?不用真人出镜,AI用你的声音就能帮你念稿。
去找专业配音一次就要好几百,用AI配音工具效果稍微好一点的也要按月付费,每个月几十到几百块不等。你还不能用上自己的声音,只能用他们事先预设好的那几个音色。
前阵子在网上发现了一个开源项目,GitHub上的星星已经快到六万颗了。这个项目叫做GPT-SoVITS,只要你录一段自己的声音,AI就能学会你说话的方式,然后不管你说什么它都能帮你念出来。
而且它完全是免费使用的。

01|使用门槛
在零样本模式下,你只需要录5到10秒钟的语音,AI就能直接模仿出你的声音,你说一句"大家好,欢迎来到我的频道",录下来基本上就够了。

想要效果更好一些,就可以用少样本模式,录一分钟左右的音频让AI再微调一下,出来的声音就会更像你本人的嗓音和说话习惯。
找了一小段自己平时说话的录音片段,把文件拖进界面,再输入了一段测试文本。等生成结果出来之后,出来的音色、语调、停顿都保留得相当不错。
02|几个比较实用的功能
第一个是跨语种合成。你用中文录的一段参考音频,可以让AI念出英文、日文、韩文,甚至连广东话都行。你完全不需要每种语言都去录一遍,只要录一次中文,其他语言它自己就自动学会了。
(官方项目 demo 真实跨语言输出示例:)
第二个是它可以生成带感情色彩的声音。听起来没有那种机械的朗读感,语调的起伏也处理得很自然,你可以在输入文本里适当加标点来控制停顿和语气。
第三个是它还提供了一整套训练工具。如果你追求的是更高品质的效果,项目里面已经集成了一整套工具链,音频分离、自动切分、语音识别标注,全部都可以一键操作就完成。
03|怎么上手
最简单的办法是用它的网页版。项目在HuggingFace上放了一个在线体验地址,直接打开浏览器就可以开始使用了,不需要你安装任何东西和配置环境。
如果你想自己动手部署一下,它也提供了Colab上面的一键训练脚本。点一下就能在谷歌的云服务器上直接跑训练,不需要自己配置显卡和复杂环境。
如果你喜欢在自己电脑上本地跑,这个项目也支持Windows和Linux系统,安装完依赖之后启动WebUI就能看到操作界面了。
(官方项目发布的少样本微调 + 推理演示视频,里面展示了真实操作流程和效果:)

04|和收费的比怎么样
我对比了一下市面上的几个主流配音服务。
某些国内的配音平台,是按字符来收费的,一分钟下来也要好几块钱。一个月要念几万字的话,开销不小。国外的ElevenLabs效果确实很好,但它的免费额度比较有限,订阅的话一个月要20美元起步。
而GPT-SoVITS是开源完全免费的。在最终效果方面,如果你提供的参考音频质量够好,生成的相似度完全可以接近甚至超过一些收费服务。它需要你自己准备录音,而且录的时候背景还要保持安静。考虑到它完全是零成本的,这点功夫还是值得花一下的。
05|适合什么人
平时剪视频需要配个音、做有声书或者播客但又不想用自己的真声、纯粹想玩一下声音克隆看看是什么效果、不想每个月花好几百块在各种配音工具上面。
如果你追求的是最专业的录音棚级别的音质,或者你完全没有时间自己去录一段参考音频,那收费的配音服务可能更适合你。
项目在GitHub上直接搜"RVC-Boss/GPT-SoVITS"就能找到,在线体验的地址在HuggingFace上。如果你只是想试试看,建议先用在线版试一试效果,觉得不错了再折腾本地部署也不迟。

夜雨聆风