[论文解读] SpeechBERT: An Audio-and-text Jointly Learned Language Model for End-to-end Spoken Question Answering

Yung-Sung Chuang, Chi-Liang Liu+2 more|arXiv (Cornell University)|Oct 25, 2019

Topic Modeling参考文献 37被引用 29

一句话总结

本文提出 SpeechBERT，一种用于端到端语音问答（SQA）的联合音频与文本预训练语言模型，可直接从原始音频和文本中学习上下文嵌入，其性能优于级联的 ASR-TQA 系统，尤其在答案跨度存在 ASR 错误时表现更优，因为它在转录错误发生前就捕捉了语义信息。

ABSTRACT

While various end-to-end models for spoken language understanding tasks have been explored recently, this paper is probably the first known attempt to challenge the very difficult task of end-to-end spoken question answering (SQA). Learning from the very successful BERT model for various text processing tasks, here we proposed an audio-and-text jointly learned SpeechBERT model. This model outperformed the conventional approach of cascading ASR with the following text question answering (TQA) model on datasets including ASR errors in answer spans, because the end-to-end model was shown to be able to extract information out of audio data before ASR produced errors. When ensembling the proposed end-to-end model with the cascade architecture, even better performance was achieved. In addition to the potential of end-to-end SQA, the SpeechBERT can also be considered for many other spoken language understanding tasks just as BERT for many text processing tasks.

研究动机与目标

• 解决 ASR 错误污染语音问答（SQA）中答案跨度的问题，该问题限制了级联 ASR+TQA 系统的性能。
• 开发一种统一的端到端模型，通过联合学习音频与文本表示来绕过 ASR，实现 SQA。
• 使模型能够直接从音频信号中提取语义和语音信息，从而在转录前提升对 ASR 错误的鲁棒性。
• 证明端到端 SQA 通过联合音频-文本预训练可实现与级联架构相当或更优的性能，尤其在易错场景下。
• 探索 SpeechBERT 作为其他语音理解任务通用工具的潜力，类似于 BERT 在文本中的应用。

提出的方法

• 使用大规模音频和文本数据集，采用类似 BERT 的掩码音频与文本建模（MLM）目标，对联合音频-文本模型进行预训练。
• 利用现成的 ASR 系统进行强制对齐，将音频分割为词级单元（音频词），并基于真实转录文本实现与文本标记的对齐。
• 训练模型同时预测被掩码的音频片段和对应文本标记，学习跨模态的共享语义表示。
• 在 SQuAD 风格的语音问答数据集上，通过端到端训练和跨度预测头对预训练的 SpeechBERT 进行微调。
• 将端到端 SpeechBERT 模型与级联 ASR+TQA 模型进行集成，以结合互补知识并提升整体性能。
• 使用帧级 F1 和答案跨度选择（AOS）指标评估性能，尤其关注 SQuAD-lost（含 ASR 错误）和 Spoken SQuAD（正确识别的跨度）数据集。

实验结果

研究问题

• RQ1 端到端的音频与文本联合模型是否能在语音问答中超越标准的级联 ASR+文本问答流水线？
• RQ2 端到端模型在多大程度上能通过直接从音频信号学习语义来恢复答案跨度中的 ASR 错误？
• RQ3 在不同 ASR 词错误率（WER）水平下，端到端模型与级联模型的性能表现如何比较？
• RQ4 与直接微调相比，使用掩码音频与文本建模进行预训练是否能提升下游 SQA 性能？
• RQ5 将端到端模型与级联模型集成，是否能获得优于任一组件单独表现的结果？

主要发现

• 在 Spoken SQuAD 数据集上，端到端 SpeechBERT 模型优于级联 ASR+TQA 系统，尤其在 SQuAD-lost 子集上表现更优，该子集的答案跨度被 ASR 识别错误。
• 在 SQuAD-lost 子集上，端到端模型的帧级 F1 显著高于级联模型，证明其能在 ASR 错误发生前直接从音频中学习语义。
• 当与级联模型集成后，SpeechBERT 在 Spoken SQuAD 上实现了最先进性能，优于任一单独组件（表 1 中第 (h) 行）。
• 在 WER 超过 40% 时，端到端模型与级联模型的性能差距进一步扩大，证实端到端模型对 ASR 错误更具鲁棒性。
• 消融实验表明，使用掩码音频与文本建模（MLM）进行预训练至关重要——若移除该机制，性能显著下降（表 1 中第 (f) 行 vs (e) 行）。
• 当使用来自真实转录文本的更优词边界而非 ASR 生成的边界时，性能有所提升，表明当前性能受限于分割质量。