ARTICLE · 1008967
我做了个 AI 剪视频工具:第一步是让AI长出
我做了个 AI 剪视频工具:第一步是让AI长出
我做了个 AI 剪视频工具:第一步是让AI长出
我想让 AI 替我干件体力活:把三小时的课,自动切成十几条短视频。真动手才发现,“切”最简单,难的是“听”。
剪视频要的“听懂”,门槛比语音输入法高得多。素材脏、标点得齐,最要命的是每个字都得标出第几秒。时间戳不准,切出来会把词劈成两半。
我先测了 Whisper 和 Paraformer。Whisper 像打字机,一个字一个字往外蹦;Paraformer 像默写高手,听完一整段一口气写出来。前者大模型太笨重,小号又不准;后者天生为中文长音频设计,标点、时间戳全包。我果断选了 Paraformer。
模型定了,坑才刚开始。文稿结尾冒出一串孤零零的标点,排查半天是噪声被误判成人声;还有个别素材会重复输出,我又专门写了去重算法。踩平这些坑后,本地跑出了 80 倍速——一小时音频,45 秒转完。
本以为这事成了,结果做正式版时撞了两堵墙。模型加起来好几个 G,普通电脑根本跑不动。软件是给人用的,不是跑分截图用的。最后我把识别放到了云端,上传的只有加密音频,视频画面一步不出本机。
当初那套本地方案虽然没用上,但好歹是我一个坑一个坑踩出来的,直接开源在了 GitHub 上。
原文我做了个 AI 剪视频工具:第一步是让AI长出耳朵
广东,4小时前,