ComfyUI 官方支持的视频插帧插件 frame_interpolation 与 GIMM-VFI / Framer 孰强孰弱(功能丰富性/显存占用/使用便捷性/推理速度)
ComfyUI 官方支持的视频插帧插件 frame_interpolation 与 GIMM-VFI / Framer 孰强孰弱(功能丰富性/显存占用/使用便捷性/推理速度)
功能介绍
-
1. 给定视频,进行插帧,扩大 fps,使视频更加丝滑 -
2. 给定视频,进行插帧,保持原来的 fps,增加视频长度 -
3. 结合上述二者,扩大 fps + 增加视频长度
与 GIMM-VFI/Framer 的对比
使用时机:
-
1. 如果需要做首尾帧插帧且需要手动绘制运动路线,使用 Framer; -
2. 如果做视频插帧,推荐 frame_interpolation
对比:
-
• 功能区别: -
• Framer:主要用于首尾帧插帧,支持 交互式插帧能力,即支持手动绘制运动路线(类似 wanmove),也支持自动推演路线; -
• GIMM-VFI:主要用于视频插帧,也可用于首尾帧插帧(2帧的视频),仅支持自动推演路线,但是效果相较于 Framer 更加丝滑 -
• frame_interpolation:主要用于视频插帧,仅支持自动推演路线 -
• 显存占用:frame_interpolation 5G;GIMM-VFI 12G;Framer 占用更多 -
• 使用便捷性:frame_interpolation 最简单,其他两种的工作流相对复杂一些 -
• 推理速度:frame_interpolation 最快(以下的测试示例仅需 6s)
效果展示
原视频:(时长 5s;fps:16)
已关注
关注
重播 分享 赞
视频插帧扩大 fps
时长 5s;fps:32
已关注
关注
重播 分享 赞
视频插帧增加时长
时长 10s;fps:16
已关注
关注
重播 分享 赞
模型下载
将 ComfyUI 更新到最新版本,之后下载以下地址的所有模型到 ComfyUI/models/text_encoders/
国内下载地址:https://www.modelscope.cn/models/Comfy-Org/frame_interpolation/tree/master/frame_interpolation
国外下载地址: https://huggingface.co/Comfy-Org/frame_interpolation/tree/main/frame_interpolation
搭建工作流

视频插帧扩大 fps

说明:上传视频,将帧率扩大到原来的两倍。(如果原始帧率小于16,则放到大32帧)
视频插帧增加时长

相较于上面的工作流,只是将图片文件夹加载节点转成了视频加载节点。
夜雨聆风