ARTICLE · 1115483
那些字幕软件的中文识别,靠的其实是它
只认得后来的软件
它不露面
但一直在干活
中文语音识别 · 模型走魔搭
AI干货仓库
📦 目录 · 滑动看
👉 滑动
PART 01
我不直接用它
但一直在用它
PART 02
哪些软件底下是它
三个名字
PART 03
模型在国内下得动
走魔搭
PART 04
方言是它的强项
粤语能听出来
PART 05
想直接用它,三条路
未必值得
PART 06
什么时候该找它
三种情况
PART ///
收个尾
FINALLY
整篇看完,我最想留下的一句
你在界面上看到的那个软件,和真正干活的引擎,常常不是一回事。
我用过好几个做视频字幕的软件,一直以为它们背后是各自的引擎。
后来翻文档才发现,其中的中文部分,底下都是同一个东西。
它叫 FunASR,是阿里通义实验室开源的语音识别工具包,GitHub 上 20k star。
有意思的地方在于,大部分人不需要直接打开它,但很多人一直在用它。
说几件事。
01
PART
我不直接用它
IDEA · 它是个发动机
先把这个关系说明白,不然你会以为我推荐错了东西。
它是一个语音识别的工具包,不是给你拖文件用的软件。它的使用者是写程序的人,被它服务的是那些带界面的软件。
打个比方。你可能没打开过发动机盖,但你开的车里面有一台发动机。FunASR 就是那几个字幕软件机盖底下的那台。
所以直接去装它,对不写程序的人来说很不划算:你要处理的界面、要拖的文件、要导出的字幕,它都不管,它只负责把声音变成带时间的字。
那为什么还要写它。因为知道这一层关系,你能解释一件平时说不清的事:同样是本地字幕工具,为什么有的听中文准、有的听中文费劲。
02
PART
哪些软件底下是它
WHO · 三个名字
这一期清单里的几个项目,就有一半跟它有关。
妙幕(SmartSub)内置了它的引擎,这是它能做到中文识别又准又不花钱的原因之一。卡卡字幕助手也是。还有那个视频翻译一条龙,你可以在它的引擎选项里找到这个名字。
它们的形态各不相同:一个是桌面软件,一个是字幕助手,一个是翻译流水线。但中文听写那一步,跑的是同一套东西。
这就是开源项目的常态。出一个底座,上面长出几十个产品,用户看到的是最上面那层,看不见底下的重复。
知道这件事有个实际好处。当你发现某个软件识别中文不准,换个引擎试试,可能比换软件更有效,因为界面换了,引擎未必换。
03
PART
模型在国内下得动
MODEL · 走魔搭
对国内用户来说,这是它最实际的一个优势。
本地语音工具最大的坑是模型下载,而模型默认的托管地多数在国外,国内经常会卡住。这一期清单里实测过,HuggingFace 在国内直接不通。
它的模型来源里有魔搭,地址是 modelscope.cn,这个是国内的站,实测通。
别小看这一条。一个工具再强,第一步下不来,后面全是零。能在国内顺利下到模型,本身就是个硬指标,尤其对刚上手的人。
判断一个本地 AI 工具值不值得试,有个很快的办法:看它的文档里有没有提国内的模型源。提了,说明作者想过你在哪;没提,你得自己解决这一步。
04
PART
方言是它的强项
DIALECT · 粤语能听出来
中文识别这件事,标准普通话跟方言是两个难度。
市面上主流的本地语音模型,训练数据里中文占比有限,遇到粤语、四川话这类方言,识别结果会明显变差,有时候干脆给你转成发音接近的普通话词汇。
它是专门为中文场景做的,方言和口音覆盖是它宣传的重点。如果你手上正好有方言素材,它跟通用模型的差距在这种素材上最明显。
另外它的输出里带时间戳和标点,这两样对做字幕很要紧。没有时间戳的字幕只是一段文字,你还要自己把它切回画面上。
情绪识别这一类也在它的功能表里,不过实用性要看你的场景,我做字幕用不到这一项。
05
PART
想直接用它,三条路
PATHS · 未必值得
如果你还是想直接用它,有三条路,难度递增。
第一条是官方给的快速上手,装完之后五行代码出结果。前提是你知道 Python 是什么、知道怎么在命令行里装包。
第二条是它自带的网页界面。这一条要先把源码下载下来,再按文档装依赖。对非程序员来说,这一关比第一条还难过,因为你得理解文件夹结构和依赖这两个词。
第三条是把它部署成一个服务,让别人或者别的程序来调。这一条是给做产品的人准备的,不是给做内容的人。
所以我更想说的是:你可能不需要走这三条路。上面那些用它的软件,已经把界面、字幕导出、翻译配音都做好了,你要的功能它们都有。
06
PART
什么时候该找它
WHEN · 三种情况
有三种情况值得你跳过界面,直接找它。
一种是量特别大。几百小时的素材,图形界面一个个拖是折磨,写几行代码批量跑一次省事得多。
另一种是要接进你自己的流程里。比如你的素材进来之后要先转写、再自动分类、再送进下一个环节,中间不想有人工点按钮。
还有一种是你手上的素材是方言,换了好几个软件都不满意。这时候值得确认一下它们是用的哪个引擎,或者干脆自己拿它跑一遍对比。
说到底,选软件还是选引擎,取决于你要的是省事还是可控。大多数人要的是省事,那就用现成的界面。
///
PART
收个尾
FINALLY
我把那段四川话的素材又拿出来跑了一遍。
这次换了个引擎,屏幕上的字从大半看不懂,变成只有几个词要改。
软件还是那个软件,图标和按钮都没变。
改掉的只是设置里一个下拉框的选项。
这里是「AI干货仓库」,一个还在跟排版较劲的地方。
既然看到这里了,如果觉得有用,随手点个赞、在看、转发三连吧。
THANKS FOR READING