乐于分享
好东西不私藏

VoxCPM TTS声音克隆安装-图文教程

VoxCPM TTS声音克隆安装-图文教程
▍PART comfyUI教程合集
    comfyui安装熟悉界面提示词翻译(CLIP文本编码)整线下载模型models、工作流、解决报错报红界面整理(固定节点、分组)下载、读取GGUF格式图生图安装llama-cpp-pythonqwenVL安装、图片反推、打标
    qwenVL的GGUF版安装教程comyfUI看内存、CPU、GPU占用率flux2图生图-妙笔入我梦中来-思路
    ▍PART 流程简要
    1. 安装插件并导入工作流:在ComfyUI管理器中搜索 VoxCPM TTS 并安装。进入 \custom_nodes\ComfyUI-VoxCPM\example_workflows\,将 VoxCPM-example.json 拖入界面,立即 Ctrl+S 保存。

    2. 下载模型文件:从国内镜像 https://hf-mirror.com/openbmb/VoxCPM2/tree/main 下载 VoxCPM2 全部文件。放入 \models\TTS\VoxCPM\VoxCPM2(没有则手动新建)-。首次使用节点时会自动下载模型,自动下载失败才手动操作。

    3. 配置工作流节点:加载音频处选中你的录音(约10秒),VoxCPM Voice Cloning 的 model 选 VoxCPM2,lora_name 先选 none,transcript 处填充音频的内容以辅助模型对齐-。text 处输入想要克隆生成说的文本。保存音频节点默认每次运行自动保存到 \output\audio。

    4. 运行并验证:点击 Queue Prompt 运行,听一下效果。成功克隆后,你就能为后续的 视频截取 ➔ 人声分离 ➔ 声音克隆 高阶操作打下基础啦!

    ▍PART 正文
    插件里面搜VoxCPM TTS 安装
    • 把他里面的示例拖进来工作流在comfyui这个路径\custom_nodes\ComfyUI-VoxCPM\example_workflows\VoxCPM-example.json
    • 保存下
    • 你会看到他这个位置要选模型的
    • 我是直接下voxcpm2 ,因为没多大,路径在这里
    • https://hf-mirror.com/openbmb/VoxCPM2/tree/main
    版本
    参数规模
    显存占用
    关键信息
    VoxCPM2
    2 Billion (20亿)
    约 8 GB--
    这是最新的版本,采用无分词器架构,8GB显存即可运行
    VoxCPM-1.5
    1.5 Billion (15亿)
    约 1.6 GB-
    有信息提及,显存<12GB 时可使用该版本。
    VoxCPM-0.5B
    0.5 Billion (5亿)
    约 1 GB
    这是最轻量的版本,甚至可以在CPU或树莓派等边缘设备上运行-。
    • 你要是没git,就一个一个下下来,放进models的这个文件里
    • \models\TTS\VoxCPM\VoxCPM2
    • 你看到没有的文件名你就自己新建个
    还一个模型其实你可以不用下,直接none就好,先跑通,这个模型里我是放lora文件,想大于大模型在帮你处理下。
    • 好,你保存下工作流,然后重启comfyui
    • 说下具体操作
    • 你自己录一个说话的音频放进去。
    • 为了我们流程先跑通demo
    • 你就随便说几句话,10秒钟
    • 然后下图这个加载音频选中进去你录的音频
    • VoxCPM Voice Cloning 这个选修是填你音频里面说了什么,他要核对

    • 模型选VoxCPM2
    • lora_name你直接先none就好了
    • 下面text文本是你要用克隆的声音说些啥
    保存音频他默认是每次运行都会保存一份到\output\audio这个目录下的
    可以了,点运行就好,
    我后面整合起来 从视频->截取片段->人声背景音分离->声音克隆,这个流程我会单独写一篇教程
    PART 其他
    下载、读取GGUF格式安装llama-cpp-pythonqwenVL的GGUF版安装教程,comyfUI看内存、CPU、GPU占用率,flux2图生图-妙笔入我梦中来-思路,ComfyUI-MelBandRoFormer 音频/歌-分离人声/伴奏/环境音ComfyUI-VideoHelperSuite 视频/音频-截取

    雪狼之夜ps:既然都看到这行了,不如给个3连,亲~~~

    ☟

    相关学习资料