论文来源：arXiv:2604.21928
标题：Evaluation of Automatic Speech Recognition Using Generative Large Language Models
作者：Thibault Bañeras-Roux, Shashi Kumar, Driss Khalil, Sergio Burdisso, Petr Motlicek, Shiran Liu, Mickael Rouvier, Jane Wottawa, Richard Dufour
机构：Idiap Research Institute（瑞士）、Avignon University（法国）、Le Mans University（法国）、Nantes University（法国）
发表日期：2026年4月23日
链接：https://arxiv.org/abs/2604.21928

摘要

你有没有过这样的经历——语音助手把你说的话识别错了，但你就说不出哪里不对？就是感觉”不对劲”。传统评估语音识别（ASR）系统的方法叫WER（词错误率），它只会数你错了几 个字，但完全不理解你的意思。而一项最新研究表明，大语言模型（LLM）来做这个评估，效果远超传统方法：最好的模型能达到92%~94%的人类标注一致性，而WER只有63%。

这个发现意味着，用AI来评估AI的语音识别能力，可能比让人去听更靠谱。

1. 引言：语音识别评多少”分”才算对？

语音识别（ASR）已经深入我们的日常生活——手机语音助手、会议自动转录、字幕生成，背后都是这项技术在支撑。但问题是：我们怎么知道ASR系统做得好不好？

传统的方法叫词错误率（WER），原理很简单：把系统转录的文本和真实文本对比，数有多少字被删除了、替换了、或者多出来了。这个数字越低越好。

但WER有一个致命问题：它根本不理解语言的意思。

举个例子：

WER对A和B的态度是一样的——都是”错了一些字”——但A可能让你理解成完全相反的意思，B却无伤大雅。

研究者早就注意到了这个问题，一直在寻找更好的评估方法。这篇新论文探索了一个有趣的方向：能不能用大语言模型（LLM）来做这个评估？

2. 核心问题：LLM能当”语音识别质检员”吗？

这篇研究探索了LLM评估ASR的三种思路，每一种都让人眼前一亮。

方法一：让LLM做”二选一”裁判

给LLM两个候选转录结果，让它选出更接近真实文本的那个。

prompt示例（翻译）：

参考文本：”it’s to him self”
候选A：”are to him self”
候选B：”it’s uh to him-self”

研究者让AI分析并做出选择，同时解释理由。这个测试的核心是：AI能否理解语义，而不只是比较字面？

结果惊人——GPT-4.1和Qwen3.5-35B这两个最强模型，在人类标注一致性上达到了94%和92%，远超WER的63%。

甚至开源模型Qwen3.5-35B表现和GPT-4.1持平——这意味着普通研究者用免费模型也能做出顶级评估。

方法二：用LLM的”embedding”做语义距离

LLM能把文本转化成向量（embedding），两个向量的”距离”可以用来衡量语义的相似度。

研究测试了7种不同的”池化策略”（怎么把一堆向量合并成一个），发现：对于不同大小的模型，最佳池化策略不同。但总体来说，用LLM的embedding构建的语义距离指标，也优于传统方法。

方法三：让LLM给错误”定性”

这个更有意思——不只是说”错了”，而是让LLM分析是什么样的错。

研究者让模型对错误进行分类标注，这在需要理解ASR输出用于下游任务（如生成字幕）时特别有价值。

3. 关键发现：LLM不只是”更准”，还更”聪明”

发现一：最强LLM评估一致性超90%

WER只有49%，意味着它在一半的情况下判断都是错的。而GPT-4.1能达到94%——这个差距已经接近人类标注者之间的自身一致性。

发现二：LLM比最好的语义指标还好

之前有研究用BERT等encoder模型做语义评估，已经比WER好了。但现在发现，LLM做裁判比BERT还好。这个结果让研究者自己都有点意外。

原因分析：LLM有更深层的语义理解能力，能容忍无意义的重复、识别真实意图，而不是死扣字眼。

发现三：不同模型差异大，但规模不是唯一因素

总体趋势是越大越强，但规模不是唯一决定因素。Qwen3-8B反而超过了参数量更大的gemma3-27B，Qwen3.5-27B也超过了Qwen3-30B。说明训练方法也很重要。

发现四：错误分类揭示WER的盲区

研究者分析了很多WER认为”错了很多”但实际影响不大的案例：

• • 重复词：”我我我” vs “我” — WER认为差很多，但意思一样
• • 填充词：”uh”、”um” — 口语中的正常现象
• • 大小写、标点的无关差异

LLM能识别这些”表面错误”，从而给出更符合人类感知的评价。

4. 为什么这个发现重要？

对普通人的意义一：你看的字幕更靠谱了

会议字幕、视频字幕的背后是ASR系统。如果评估指标更准确，开发者就能更好地优化这些系统，最终字幕质量更高。

对普通人的意义二：语音助手更懂你了

未来语音助手说”我没听清楚”，可能不只是硬件问题——而是系统发现自己识别错了，并且知道为什么会错。LLM评估能让这种自我诊断成为可能。

对研究者的意义：新的评测范式

这篇论文提出了一个全新的ASR评估范式：用LLM做judge。以前大家用WER，现在可以切换到更智能的LLM-based evaluation。

5. 局限与展望

当前局限

1. 1. 成本问题：用GPT-4.1做评估每次都要付费，Qwen3.5-35B虽然是开源的，但在本地部署也有硬件要求
2. 2. 速度：LLM推理比简单计算WER慢很多，实时场景可能有压力
3. 3. 多语言支持：研究主要测试法语（HATS数据集），中文等语言的效果还需验证
4. 4. Prompt敏感性：模型表现对prompt设计有一定依赖，不同写法可能影响结果

未来方向

• • 探索更轻量的LLM（比如Qwen3-1.7B）是否能在特定场景下替代大型号
• • 研究如何在保证准确率的前提下降低计算成本
• • 将方法扩展到更多语言和更多ASR场景（如方言、噪声环境）

6. 结论

这篇论文证明了一个反直觉但令人兴奋的结论：AI比传统方法更懂语音识别”好在哪里”。

WER数错字，LLM能理解语义。最好的LLM模型能达到94%的人类标注一致性，远超WER的63%。这不仅仅是数字的进步，而是评估范式的转变——从”数错误”到”理解质量”。

对于AI研究者和应用开发者来说，这是一个新的工具；对于普通用户来说，这意味着未来的语音产品可能有更可靠的”质检体系”。

核心 takeaways：

• • LLM做ASR评估，一致性可达92-94%，远超WER的63%
• • 开源模型Qwen3.5-35B表现和GPT-4.1持平，普通人也能用
• • LLM能容忍无意义错误（重复、填充词），更符合人类感知
• • 这为ASR系统的优化提供了更智能的评估手段

引用与参考

论文信息

• • 标题：Evaluation of Automatic Speech Recognition Using Generative Large Language Models
• • 作者：Thibault Bañeras-Roux, Shashi Kumar, Driss Khalil, Sergio Burdisso, Petr Motlicek, Shiran Liu, Mickael Rouvier, Jane Wottawa, Richard Dufour
• • 机构：Idiap Research Institute, Avignon University, Le Mans University, Nantes University
• • arXiv ID：2604.21928
• • 原文链接：https://arxiv.org/abs/2604.21928
• • HTML全文：https://arxiv.org/html/2604.21928v1

论文章节结构

1. 1. Introduction（引言）
2. 2. Related Work（相关工作）
• • 2.1 Limitations of Word Error Rate（WER的局限性）
• • 2.2 Semantic Metrics Based on Embeddings（基于embedding的语义指标）
• • 2.3 Human Perception and Interpretable Evaluation（人类感知与可解释评估）
3. 3. Experiments（实验）
• • 3.1 Selecting the Best Hypothesis Using an LLM（用LLM选择最佳候选）
• • 3.2 Semantic Metric Based on Decoder LLM Embeddings（基于解码器LLM embedding的语义指标）
• • 3.3 Generative LLM for Classifying Hypotheses（用生成式LLM对候选进行分类）
4. 4. Conclusion（结论）

核心参考文献