[论文解读] Prioritizing Speech Test Cases

Zhou Yang, Jieke Shi+5 more|arXiv (Cornell University)|Feb 1, 2023

Natural Language Processing Techniques被引用 4

一句话总结

该论文提出 Prophet，一种通过预测参考文本中哪些词语可能被误识别，从而优先处理自动语音识别（ASR）系统测试用例的工具。该方法利用预训练语言模型计算错误得分，无需执行 ASR 系统。在 3 个 ASR 系统和 12 个数据集上进行评估，Prophet 在相同测试预算下比当前最先进方法多发现 12.63% 的误识别词语。

ABSTRACT

With the wide adoption of automated speech recognition (ASR) systems, it is increasingly important to test and improve ASR systems. However, collecting and executing speech test cases is usually expensive and time-consuming, motivating us to strategically prioritize speech test cases. A key question is: how to determine the ideal order of collecting and executing speech test cases to uncover more errors as early as possible? Each speech test case consists of a piece of audio and the corresponding reference text. In this work, we propose PROPHET (PRiOritizing sPeecH tEsT), a tool that predicts potential error-uncovering speech test cases only based on their reference texts. Thus, PROPHET analyzes test cases and prioritizes them without running the ASR system, which can analyze speech test cases at a large scale. We evaluate 6 different prioritization methods on 3 ASR systems and 12 datasets. Given the same testing budget, we find that our approach uncovers 12.63% more wrongly recognized words than the state-of-the-art method. We select test cases from the prioritized list to fine-tune ASR systems and analyze how our approach can improve the ASR system performance. Statistical tests show that our proposed method can bring significantly larger performance improvement to ASR systems than the existing baseline methods. Furthermore, we perform correlation analysis and confirm that fine-tuning an ASR system using a dataset, on which the model performs worse, tends to improve the performance more.

研究动机与目标

• 解决在 ASR 系统测试中收集和执行语音测试用例所导致的高成本和长时间消耗问题。
• 提出一种测试用例优先排序策略，以在资源有限的情况下实现早期错误检测最大化。
• 开发一种方法，仅基于参考文本预测可能出错的词语，而无需音频或执行 ASR 系统。
• 评估基于预测错误可能性优先排序测试用例是否能提升 ASR 模型微调性能。
• 探究测试用例集的哪些特征与 ASR 性能提升相关性最强。

提出的方法

• Prophet 使用预训练语言模型（如 BERT、RoBERTa）对参考文本进行词级别的分析，预测 ASR 系统可能误识别的词语。
• 基于单个词语的预测难度，为每个测试用例计算综合错误得分，反映其揭示错误的潜力。
• 错误得分整合了源自上下文嵌入的词汇稀有性、语音复杂性和上下文模糊性等语言学特征。
• 根据整体错误得分对测试用例进行排序，实现在不运行 ASR 模型的前提下对测试用例进行优先处理。
• 使用 3 个 ASR 系统和 12 个多样化数据集进行评估，比较在固定测试预算下不同优先排序策略的表现。
• 通过 Prophet 和基线方法选择的测试用例进行微调实验，以评估模型性能的提升。

实验结果

研究问题

• RQ1 能否仅通过文本（无需音频或模型推理）预测参考文本中哪些词语可能被 ASR 系统误识别？
• RQ2 基于预测错误可能性优先排序测试用例，是否能比现有方法更早、更全面地检测到错误？
• RQ3 使用 Prophet 选择的测试用例进行微调的 ASR 模型，其性能提升是否显著优于使用基线方法选择的测试用例？
• RQ4 测试用例集的哪些特征与 ASR 模型性能提升的相关性最强？
• RQ5 原始模型在测试用例集上的 WER 是否比音素丰富度或三音素丰富度更能有效预测微调效果？

主要发现

• Prophet 在其优先处理的测试用例集上实现的词错误率（WER）比第二好的方法高出 12.63%，表明在相同预算下能发现更多错误。
• 使用 Prophet 选择的测试用例进行微调的 ASR 模型，其性能提升显著优于使用四种基线方法选择的测试用例。
• 原始模型在测试用例集上的 WER 是预测微调效果的最强指标，优于音素丰富度或三音素多样性等特征。
• Prophet 的方法（聚焦于错误易发性预测）优于注重语音多样性优先的策略，表明错误潜力是比语言覆盖度更好的信号。
• 统计分析证实，预测错误得分更高的测试用例能带来更有效的模型微调，验证了该方法的设计合理性。
• 复制包已公开发布，以支持可复现性及未来研究。