[论文解读] OLR 2021 Challenge: Datasets, Rules and Baselines

Binling Wang, Wenxuan Hu+8 more|arXiv (Cornell University)|Jul 23, 2021

Time Series Analysis and Forecasting参考文献 21被引用 7

一句话总结

本文介绍了 OLR 2021 挑战赛，提出了四项多语言语音识别任务——受限与非受限语言识别（LID），以及受限与非受限多语言自动语音识别（ASR）——并提供了基线系统：基于 PyTorch 的 TDNN x-vector 模型用于 LID，以及使用 ESPnet 的基于 Transformer 的端到端 ASR 模型。基线结果在 ASR 进度集上的 CER 高达 39.4%，表明在处理噪声和跨通道数据方面存在显著挑战，凸显了在多语言语音识别领域进一步研究的必要性。

ABSTRACT

This paper introduces the sixth Oriental Language Recognition (OLR) 2021 Challenge, which intends to improve the performance of language recognition systems and speech recognition systems within multilingual scenarios. The data profile, four tasks, two baselines, and the evaluation principles are introduced in this paper. In addition to the Language Identification (LID) tasks, multilingual Automatic Speech Recognition (ASR) tasks are introduced to OLR 2021 Challenge for the first time. The challenge this year focuses on more practical and challenging problems, with four tasks: (1) constrained LID, (2) unconstrained LID, (3) constrained multilingual ASR, (4) unconstrained multilingual ASR. Baselines for LID tasks and multilingual ASR tasks are provided, respectively. The LID baseline system is an extended TDNN x-vector model constructed with Pytorch. A transformer-based end-to-end model is provided as the multilingual ASR baseline system. These recipes will be online published, and available for participants to construct their own LID or ASR systems. The baseline results demonstrate that those tasks are rather challenging and deserve more effort to achieve better performance.

研究动机与目标

• 通过引入语言识别和自动语音识别领域的新颖且实际的挑战，推动多语言语音识别的发展。
• 解决现实世界中的问题，如跨通道可变性、噪声环境以及多语言语音系统中的方言多样性。
• 提供标准化的数据集、评估规则和基线系统，以支持多语言语音处理领域的研究与基准测试。
• 鼓励在低资源和多语言 ASR 与 LID 系统中采用端到端模型和数据增强技术方面的创新。

提出的方法

• LID 基线采用在 PyTorch 中实现的扩展 TDNN x-vector 模型，通过包括速度扰动和 SpecAugment 在内的数据增强技术进行训练。
• SpecAugment 通过直接对频谱图特征应用时间扭曲、频率掩码和时间掩码，以提升鲁棒性并增加数据多样性。
• 多语言 ASR 基线采用基于 Transformer 的端到端模型，所有目标语言共享相同的编码器-解码器架构，输出单元为字符级别。
• 模型输入为 80 维梅尔滤波器组特征，外加 3 维的基频特征，训练 30 个周期，前 25,000 次迭代采用学习率预热。
• 语言无关的架构确保所有语言共享相同的网络参数，从而实现跨多种语言家族的联合训练。
• 基线系统和训练方案已通过 ESPnet 工具包和挑战赛官网公开发布，供社区使用和扩展。

实验结果

研究问题

• RQ1 当前的 LID 和 ASR 系统在处理受限与非受限多语言语音，尤其是在噪声或跨通道条件下，效果如何？
• RQ2 单一共享的基于 Transformer 的端到端模型在多样化东方语言家族中实现稳健性能的程度如何？
• RQ3 像速度扰动和 SpecAugment 这类数据增强技术在低资源多语言语音识别中如何提升泛化能力？
• RQ4 在处理噪声或通道不匹配的语音片段时，当前多语言 ASR 系统的性能瓶颈是什么？
• RQ5 统一的、语言无关的模型架构是否能有效在单一框架中同时处理语言识别与语音识别？

主要发现

• 多语言 ASR 基线在进度子集上的 CER 达到 39.4%，表明多语言识别仍有巨大改进空间。
• 基线系统在噪声和跨通道数据上表现尤为吃力，导致某些语言的 CER 较高，凸显了关键挑战。
• LID 基线在跨通道 LID 上的 C_avg 为 0.0239，EER 为 2.47%，表明即使顶尖系统在真实环境下仍面临困难。
• 包含 14 种语言，包括低资源方言如闽南语、上海话和四川话，显著提升了挑战的复杂性和实际相关性。
• 挑战赛的测试集包含的语言数量超过以往版本，扩展了多语言评估的范围。
• 基线训练方案和数据集已公开，支持可复现性，并推动了多语言语音识别领域的进一步研究。