乐于分享
好东西不私藏

ComfyUI 官方支持的视频插帧插件 frame_interpolation 与 GIMM-VFI / Framer 孰强孰弱(功能丰富性/显存占用/使用便捷性/推理速度)

ComfyUI 官方支持的视频插帧插件 frame_interpolation 与 GIMM-VFI / Framer 孰强孰弱(功能丰富性/显存占用/使用便捷性/推理速度)

ComfyUI 官方支持的视频插帧插件 frame_interpolation 与 GIMM-VFI / Framer 孰强孰弱(功能丰富性/显存占用/使用便捷性/推理速度)

功能介绍

  1. 1. 给定视频,进行插帧,扩大 fps,使视频更加丝滑
  2. 2. 给定视频,进行插帧,保持原来的 fps,增加视频长度
  3. 3. 结合上述二者,扩大 fps + 增加视频长度

与 GIMM-VFI/Framer 的对比

使用时机

  1. 1. 如果需要做首尾帧插帧且需要手动绘制运动路线,使用 Framer;
  2. 2. 如果做视频插帧,推荐 frame_interpolation

对比

  • • 功能区别:
    • • Framer:主要用于首尾帧插帧,支持 交互式插帧 能力,即支持 手动绘制运动路线(类似 wanmove),也支持自动推演路线;
    • • GIMM-VFI:主要用于视频插帧,也可用于首尾帧插帧(2帧的视频),仅支持自动推演路线,但是效果相较于 Framer 更加丝滑
    • • frame_interpolation:主要用于视频插帧,仅支持自动推演路线
  • • 显存占用:frame_interpolation 5G;GIMM-VFI 12G;Framer 占用更多
  • • 使用便捷性:frame_interpolation 最简单,其他两种的工作流相对复杂一些
  • • 推理速度:frame_interpolation 最快(以下的测试示例仅需 6s)

效果展示

原视频:(时长 5s;fps:16)

已关注

关注

重播 分享

视频插帧扩大 fps

时长 5s;fps:32

已关注

关注

重播 分享

视频插帧增加时长

时长 10s;fps:16

已关注

关注

重播 分享

模型下载

将 ComfyUI 更新到最新版本,之后下载以下地址的所有模型到 ComfyUI/models/text_encoders/

国内下载地址:https://www.modelscope.cn/models/Comfy-Org/frame_interpolation/tree/master/frame_interpolation

国外下载地址: https://huggingface.co/Comfy-Org/frame_interpolation/tree/main/frame_interpolation

搭建工作流

视频插帧扩大 fps

说明:上传视频,将帧率扩大到原来的两倍。(如果原始帧率小于16,则放到大32帧)

视频插帧增加时长

相较于上面的工作流,只是将图片文件夹加载节点转成了视频加载节点。