[论文解读] Multi-Staged Cross-Lingual Acoustic Model Adaption for Robust Speech Recognition in Real-World Applications - A Case Study on German Oral History Interviews

Michael Gref, Oliver Walter+3 more|arXiv (Cornell University)|May 26, 2020

Speech Recognition and Synthesis参考文献 6被引用 1

一句话总结

本文提出了一种多阶段、跨语言的声学模型适应方法，以提升在低资源、真实场景下的语音识别鲁棒性——特别是德语口述历史访谈场景。通过分阶段迁移学习利用大规模多语言及域外数据，该方法相比从零开始训练将词错误率相对降低30%，并相较在1,000小时同语言数据上训练的强基线模型提升6–7%。

ABSTRACT

While recent automatic speech recognition systems achieve remarkable performance when large amounts of adequate, high quality annotated speech data is used for training, the same systems often only achieve an unsatisfactory result for tasks in domains that greatly deviate from the conditions represented by the training data. For many real-world applications, there is a lack of sufficient data that can be directly used for training robust speech recognition systems. To address this issue, we propose and investigate an approach that performs a robust acoustic model adaption to a target domain in a cross-lingual, multi-staged manner. Our approach enables the exploitation of large-scale training data from other domains in both the same and other languages. We evaluate our approach using the challenging task of German oral history interviews, where we achieve a relative reduction of the word error rate by more than 30% compared to a model trained from scratch only on the target domain, and 6-7% relative compared to a model trained robustly on 1000 hours of same-language out-of-domain training data.

研究动机与目标

• 解决在低资源、真实场景（如德语口述历史访谈）中自动语音识别性能差的挑战。
• 克服用于训练鲁棒语音识别系统所需的领域内高质量转录数据不足的问题。
• 探究在资源匮乏的语音识别中，跨语言与多阶段迁移学习在声学模型适应方面的有效性。
• 展示适配后模型在相关领域和不同录音条件下的泛化能力与鲁棒性。

提出的方法

• 采用多阶段适应流程：首先在域外同语言数据上微调预训练声学模型，然后通过跨语言适应从高资源语言（如英语）迁移知识。
• 以最先进的LF-MMI（联合优化声学建模）作为端到端训练的基线模型架构。
• 利用目标语言（德语）及其他语言（如英语）的丰富资源领域中的大规模高质量训练数据，以提升鲁棒性。
• 应用数据增强技术（如速度扰动和混响建模）以增强对真实录音差异的鲁棒性。
• 执行顺序适应：先在多样化域外数据上训练初始模型，再在有限的领域内德语口述历史数据上进行领域特定微调。
• 采用两阶段迁移学习策略——首先从多语言数据迁移，然后从同语言域外数据迁移——最后在目标领域数据上进行最终微调。

实验结果

研究问题

• RQ1 跨语言迁移学习是否能显著提升在低资源真实场景（如德语口述历史访谈）中的语音识别性能？
• RQ2 与单阶段微调相比，从多语言数据到同语言域外数据再到领域内数据的多阶段适应效果如何？
• RQ3 所提方法在具有相似声学与语言挑战的其他领域中泛化程度如何？
• RQ4 当结合少量领域内数据与跨语言及多阶段迁移学习时，其影响如何？

主要发现

• 与仅在目标领域德语口述历史访谈数据上从零开始训练的模型相比，所提方法实现了超过30%的相对词错误率（WER）降低。
• 与在1,000小时同语言域外德语数据上训练的强基线模型相比，该方法实现了6–7%的相对WER提升。
• 使用英语数据进行跨语言适应显著提升了性能，即使在领域内数据极少的情况下也表现出色，证明了多语言迁移的价值。
• 消融实验证实，多阶段与跨语言组件均至关重要，每一阶段均对最终鲁棒性有贡献。
• 适配后的模型在其他德语语音识别测试集上表现良好，表明其在不同录音条件与语音特征下的强鲁棒性与泛化能力。
• 结果验证了从多语言与域外数据迁移学习在资源匮乏语音识别任务中的高度有效性。