[论文解读] Toward Cross-Domain Speech Recognition with End-to-End Models

Thai‐Son Nguyen, Sebastian Stüker+1 more|arXiv (Cornell University)|Mar 9, 2020

Speech Recognition and Synthesis参考文献 28被引用 5

一句话总结

该论文表明，端到端语音识别模型，尤其是使用序列训练准则训练的序列到序列和声学到词架构，在跨不同领域的泛化能力上显著优于传统的混合HMM/ANN模型。与在混合领域数据上训练时性能下降的混合模型不同，端到端模型在性能上可达到与领域特定的混合系统相当的水平，且即使在输入领域未知的情况下，也无需使用领域自适应语言模型。

ABSTRACT

In the area of multi-domain speech recognition, research in the past focused on hybrid acoustic models to build cross-domain and domain-invariant speech recognition systems. In this paper, we empirically examine the difference in behavior between hybrid acoustic models and neural end-to-end systems when mixing acoustic training data from several domains. For these experiments we composed a multi-domain dataset from public sources, with the different domains in the corpus covering a wide variety of topics and acoustic conditions such as telephone conversations, lectures, read speech and broadcast news. We show that for the hybrid models, supplying additional training data from other domains with mismatched acoustic conditions does not increase the performance on specific domains. However, our end-to-end models optimized with sequence-based criterion generalize better than the hybrid models on diverse domains. In term of word-error-rate performance, our experimental acoustic-to-word and attention-based models trained on multi-domain dataset reach the performance of domain-specific long short-term memory (LSTM) hybrid models, thus resulting in multi-domain speech recognition systems that do not suffer in performance over domain specific ones. Moreover, the use of neural end-to-end models eliminates the need of domain-adapted language models during recognition, which is a great advantage when the input domain is unknown.

研究动机与目标

• 研究端到端模型与混合模型在多领域语音识别设置下的表现对比。
• 评估在多样化、多领域数据上进行训练是否能提升模型在各领域的泛化能力。
• 确定端到端模型是否能在推理阶段消除对领域自适应语言模型的需求。
• 探索在测试集为域外数据时，通过引入领域标识符是否能进一步提升性能。

提出的方法

• 从四个公开语料库构建多领域数据集：Switchboard、TED-LIUM、LibriSpeech和Hub4，涵盖电话对话、讲座、朗读语音和广播新闻。
• 在领域特定和多领域训练集上分别训练混合HMM/ANN模型和端到端模型（声学到词及基于注意力的序列到序列）。
• 使用序列训练准则（如CTC、交叉熵）训练端到端模型，实现从声学特征到词序列的直接映射。
• 通过在训练和推理过程中引入领域ID标记，构建领域条件化的端到端模型。
• 在领域特定和域外测试集上评估模型性能，包括Hub5’00、TED-LIUM、LibriSpeech、Eval98和MSLT。
• 使用词错误率（WER）和领域准确率（DAC）衡量模型性能，用于领域识别。

实验结果

研究问题

• RQ1 与混合模型相比，端到端模型在多领域数据上进行训练是否能在更广泛的声学和语言条件下实现更好的泛化？
• RQ2 端到端模型是否能在不使用领域自适应语言模型的情况下，实现与领域特定混合模型相当的性能？
• RQ3 是否可以有效学习并利用领域标识符来条件化端到端模型，从而提升在域外输入上的性能？
• RQ4 为何端到端模型在跨领域泛化方面优于基于帧的混合模型？

主要发现

• 在Hub5’00、TED-LIUM、LibriSpeech和Eval98测试集上，多领域数据训练的端到端模型优于所有领域特定的混合模型，分别取得18.5、10.8、8.4和11.9的WER。
• 多领域训练的端到端模型在性能上与领域特定的LSTM混合模型相当，表明多领域训练不会导致性能损失。
• 领域条件化的端到端模型在Hub5’00上达到99.84%的领域准确率，在Eval98上达到97.93%，同时保持与标准端到端模型相当的WER。
• 在域外MSLT语料库上测试时，当模型以Switchboard领域进行条件化时，WER达到23.3%，优于所有使用不同语言模型的混合模型。
• 基于字符的序列到序列模型在长语音（60–120秒）上出现性能下降，而基于词的模型虽避免了此问题，但面临OOV（未登录词）挑战。
• 在多领域数据上训练的混合模型泛化能力差，性能劣于领域特定模型，凸显了混合系统在跨领域设置下的关键局限性。