[论文解读] Spoken SQuAD: A Study of Mitigating the Impact of Speech Recognition Errors on Listening Comprehension

Chia-Hsuan Li, Szu-Lin Wu+2 more|arXiv (Cornell University)|Apr 1, 2018

Topic Modeling参考文献 27被引用 28

一句话总结

本文提出了 Spoken SQuAD，一个全新的听觉理解任务，用于评估机器阅读理解模型在源自 SQuAD 数据集的自动语音识别（ASR）转录文本上的表现。实验表明，ASR 错误会严重降低模型性能，并提出使用子词级表示方法（音素和音节）来缓解这些错误，采用音素/音节嵌入的模型在噪声测试集上 F1 最高可达 38.46%。

ABSTRACT

Reading comprehension has been widely studied. One of the most representative reading comprehension tasks is Stanford Question Answering Dataset (SQuAD), on which machine is already comparable with human. On the other hand, accessing large collections of multimedia or spoken content is much more difficult and time-consuming than plain text content for humans. It's therefore highly attractive to develop machines which can automatically understand spoken content. In this paper, we propose a new listening comprehension task - Spoken SQuAD. On the new task, we found that speech recognition errors have catastrophic impact on machine comprehension, and several approaches are proposed to mitigate the impact.

研究动机与目标

• 建立一个基于 ASR 转录文本的口语问答新基准，扩展 SQuAD 数据集以评估听觉理解能力。
• 研究自动语音识别（ASR）错误对机器阅读理解模型的负面影响。
• 开发并评估提升问答模型对 ASR 错误鲁棒性的技术，特别是通过子词级表示方法。
• 提供标准化的 Spoken SQuAD 评估协议，包含多个噪声等级以模拟真实世界音频退化。

提出的方法

• 使用 Google 的文本转语音系统生成 SQuAD 文章的口语化版本，并通过 CMU Sphinx 获得 ASR 转录，构建了一个在测试集上词错误率（WER）为 22.73% 的数据集。
• 设计了一套新的评估协议，模型在 ASR 转录文本上进行测试，通过精确匹配（EM）、F1 和答案重叠分数（AOS）衡量性能。
• 提出基于音素和音节的子词级嵌入方法，通过基于 CNN 的网络生成更具鲁棒性的分布式表示，以应对 ASR 错误。
• 在 BiDAF 基础的阅读理解模型中，将子词嵌入（音素、音节）与词嵌入和字符嵌入相结合，以增强模型鲁棒性。
• 在干净和噪声 ASR 转录文本上训练并评估模型，噪声水平使 WER 分别提升至 44.22% 和 54.82%。
• 使用一个滤波器大小为 3x6、共 80 个滤波器的音素-CNN，以及一个滤波器大小为 2x20、共 100 个滤波器的音节-CNN，从子词单元中学习上下文表示。

实验结果

研究问题

• RQ1 自动语音识别（ASR）错误如何影响最先进阅读理解模型在口语内容上的表现？
• RQ2 子词级表示（如音素和音节）是否能提升问答模型对 ASR 错误的鲁棒性？
• RQ3 在缓解 ASR 错误影响方面，不同子词表示（词、字符、音素、音节）的相对有效性如何？
• RQ4 在真实世界音频条件下，随着 ASR 错误率（以 WER 衡量）增加，模型性能如何退化？
• RQ5 联合建模多个子词单元（如词 + 音素 + 音节）是否能提升在噪声 ASR 输入上的泛化能力？

主要发现

• ASR 错误对问答模型造成灾难性影响：在干净文本上训练、在 ASR 转录文本上测试的 BiDAF 和 Dr.QA 模型性能显著下降。
• 在 ASR 转录文本上进行训练可提升模型鲁棒性，模型在干净测试集上达到 33.53% F1，在 WER 为 44.22% 的噪声版本上达到 29.73% F1。
• 子词级嵌入（尤其是音素和音节序列）显著优于标准词嵌入和字符嵌入，音素+音节+字符+词嵌入组合在最高噪声测试集上达到 38.46% F1。
• 使用组合词嵌入、字符嵌入、音素嵌入和音节嵌入的模型在所有 WER 水平下均表现最佳，在 WER 为 54.82% 的测试集上达到 38.46% F1。
• 定性分析表明，使用子词嵌入的模型即使在存在 ASR 错误（如 'harry' 代替 'area'）的情况下仍能正确识别答案，而仅依赖词嵌入的模型则失败。
• Dropout 正则化提升了鲁棒性，但子词嵌入带来的性能增益更为显著，表明其在处理 ASR 噪声方面具有高度有效性。