用AI给视频配音效!免费开源AI音效模型Woosh如何部署使用?

本文作者：辰谙

最近，SONY正式开源了一款专为音效领域设计的基础模型Woosh，为声音创作者、游戏开发者和影视后期工作者提供了一个全新的创作工具。

我们可以直接进到Woosh在GitHub上的发布界面，然后下载对应文件到本地，在对应的环境中部署即可。

第二种是ComfyUI插件部署。ComfyUI是目前最流行的AI生成工具可视化平台，Woosh有专门的社区插件支持，有着直观的图形化界面。

第三种是一键整合包部署。对于不想进行复杂环境配置的用户，社区已经提供了一键整合包，解压即可使用，目前比较推荐这种方式。

需要注意的是，Woosh对硬件有明确的要求，主要依赖NVIDIA GPU进行加速计算，推荐配置为NVIDIA RTX 3060/4060，8GB显存以上。

以B站大神生活作弊码发布的一键整合包的部署为例，下载后我们会得到几个压缩包，解压后就会得到三个不同的bat启动程序，分别是“一键启动视频转音效.bat”“一键启动文本转音效_极速模式.bat”和“一键启动文本转音效_质量模式.bat”。

这三个启动程序分别对应了不同的音效生成方式，其中前一种对应视频生音效，后两种对应文本生音效，后两种的区别则在于极速模式是蒸馏模型，生成速度极快，而质量模式生成较慢，但质量比极速模式高。

首先我们看文本转音效的极速模式，启动之后，我们会看到模型的WebUI：

页面中最重要的就是左上方的“中文描述”的输入框，我们可以在这里输入任意想要的音效的中文提示词：

提示词的结构可以是：[物体]+[动作]+[环境]+[质感]，比如”雨水落在铁皮屋顶上，轻柔而清脆“。

由于这个整合包已经内嵌了翻译工具，所以我们可以直接点击右上方的“翻译成英文”：

这时“提示词”框内就会出现对应的英文翻译。当然，直接在“提示词”框内输入英文提示词也是可以的。

除此之外，下方还有三个参数可供我们调整，其中”生成数量“就是一次性生成几条音效，”提示词引导系数“建议3~7，值越高越贴合提示词，但可能会降低自然度，“随机种子”建议保持-1，不做更改。

之后，我们直接点击“立即生成”即可，生成的音效可以在UI内预览，也可以下载。

然后我们看视频转音效，我们点击“一键启动视频转音效.bat”启动WebUI：

可以看到，视频转音效的可调参数和文本转音效的没有太大差别，主要就是左边多了一个上传视频的框：

在这个视频框里上传视频后，我们像文本转音效那样在右边的参数栏输入想要的参数，然后点击“立即生成”即可。

当然，由于这个是视频转音效，所以右边的提示词我们也可以选择不填，这款工具会根据视频内容智能地生成匹配的音效。

目前，Woosh已经在GitHub上开源，地址如下：

https://github.com/SonyResearch/Woosh

B站大神生活作弊码发布的Woosh的一键整合包的下载链接如下：

https://pan.quark.cn/s/2b783e2e99c9

此外，就算我们本地没有NVIDIA GPU，也有一些线上的AI服务可以使用，比如RunningHub等：

SONY AI团队表示未来将继续优化Woosh模型，计划未来会支持立体声和多声道音频生成，并延长视频生成的最大时长。