[论文解读] Semantic Distance: A New Metric for ASR Performance Analysis Towards Spoken Language Understanding

Suyoun Kim, Abhinav Arora+5 more|arXiv (Cornell University)|Apr 5, 2021

Topic Modeling参考文献 29被引用 5

一句话总结

本文提出语义距离（SemDist），一种新颖的自动语音识别（ASR）评估指标，利用基于RoBERTa的句子嵌入来衡量参考转录与假设转录之间的语义相似度。与词错误率（WER）不同，SemDist与下游自然语言理解（NLU）性能的相关性更强——即使WER保持不变，更低的SemDist也能预测更高的意图准确率、实体识别F1值和语义解析质量。

ABSTRACT

Word Error Rate (WER) has been the predominant metric used to evaluate the performance of automatic speech recognition (ASR) systems. However, WER is sometimes not a good indicator for downstream Natural Language Understanding (NLU) tasks, such as intent recognition, slot filling, and semantic parsing in task-oriented dialog systems. This is because WER takes into consideration only literal correctness instead of semantic correctness, the latter of which is typically more important for these downstream tasks. In this study, we propose a novel Semantic Distance (SemDist) measure as an alternative evaluation metric for ASR systems to address this issue. We define SemDist as the distance between a reference and hypothesis pair in a sentence-level embedding space. To represent the reference and hypothesis as a sentence embedding, we exploit RoBERTa, a state-of-the-art pre-trained deep contextualized language model based on the transformer architecture. We demonstrate the effectiveness of our proposed metric on various downstream tasks, including intent recognition, semantic parsing, and named entity recognition.

研究动机与目标

• 为解决词错误率（WER）在评估ASR系统于下游自然语言理解（NLU）任务中的局限性。
• 开发一种捕捉语义正确性而非仅字面级词级准确性的指标。
• 评估句子嵌入空间中的语义相似度是否比WER与NLU性能的相关性更强。
• 证明SemDist可通过识别与参考文本语义更接近的ASR假设，指导模型选择，即使WER相同。
• 探索将SemDist用作未来端到端ASR系统训练目标的潜力。

提出的方法

• 利用RoBERTa——一种先进的基于Transformer的预训练语言模型——为参考与假设对生成上下文相关的句子嵌入。
• 通过计算参考与ASR假设的句子嵌入之间的余弦相似度来计算语义距离。
• 将SemDist定义为余弦相似度的补数（1 - 余弦相似度），因此数值越低表示语义相似度越高。
• 在大规模预训练语料上训练并微调RoBERTa，以确保生成稳健且富含语义的句子表示。
• 将所得嵌入模型应用于ASR测试集中的语音转录，并在多个领域和NLU任务中计算SemDist。
• 在多个下游NLU任务中对比SemDist与WER的表现，包括意图识别、命名实体识别（NER）和语义解析。

实验结果

研究问题

• RQ1 语义距离（SemDist）是否比词错误率（WER）与下游NLU性能的相关性更强？
• RQ2 SemDist能否区分出WER相同但语义质量不同的ASR假设？
• RQ3 在不同ASR系统变体中，SemDist在预测意图识别准确率和NER F1值方面的表现如何？
• RQ4 当词级错误的影响不均等时，SemDist在多大程度上能反映参考与假设语音之间的真实语义相似度？
• RQ5 SemDist能否用于改进模型选择，甚至作为端到端ASR系统中的训练目标？

主要发现

• SemDist与NLU性能表现出强烈正相关：在助手领域，SemDist与意图准确率（r = 0.72）以及EM（r = 0.65）相关，表明其具有强大的预测能力。
• 在相同WER下，更低的SemDist始终带来更高的NER F1值——例如，Set C（SemDist = 0.0028）的F1值为0.846，而Set B（SemDist = 0.0044）仅为0.590。
• 在意图识别中，Set C（SemDist = 0.0017）达到96.22%的意图准确率，显著优于Set B（SemDist = 0.0030）的94.28%，尽管两者的WER完全相同。
• SemDist有效捕捉了语义细微差别：例如，'he is so cute'（SemDist = 0.0031）在语义上比'heat is so cute'（SemDist = 0.0112）更接近'she is so cute'，尽管两者WER相同。
• SemDist识别出'had not'（SemDist = 0.0219）在语义上比'had new clubs'（SemDist = 0.0167）更远，尽管前者在发音上更接近参考。
• 该指标能有效根据语义合理性与词语重要性区分假设——例如，在上下文中正确区分'aw/or'与'aw/oh'，显示出对语义关键术语的敏感性。