[论文解读] SpecAugment on Large Scale Datasets

Daniel Park, Yu Zhang+6 more|arXiv (Cornell University)|Dec 11, 2019

Speech Recognition and Synthesis参考文献 26被引用 4

一句话总结

该论文表明，SpecAugment——一种简单的频谱图级数据增强技术——在大规模工业数据集（如 Google 的多领域数据集和 LibriSpeech 960h）上显著提升了端到端自动语音识别（ASR）的性能。通过将 SpecAugment 与多风格训练（MTR）数据混合，作者实现了最先进结果——在 LibriSpeech test-clean 上达到 2.2% WER，在 test-other 上达到 5.2% WER，同时保持了较低的计算成本和良好的可扩展性。

ABSTRACT

Recently, SpecAugment, an augmentation scheme for automatic speech recognition that acts directly on the spectrogram of input utterances, has shown to be highly effective in enhancing the performance of end-to-end networks on public datasets. In this paper, we demonstrate its effectiveness on tasks with large scale datasets by investigating its application to the Google Multidomain Dataset (Narayanan et al., 2018). We achieve improvement across all test domains by mixing raw training data augmented with SpecAugment and noise-perturbed training data when training the acoustic model. We also introduce a modification of SpecAugment that adapts the time mask size and/or multiplicity depending on the length of the utterance, which can potentially benefit large scale tasks. By using adaptive masking, we are able to further improve the performance of the Listen, Attend and Spell model on LibriSpeech to 2.2% WER on test-clean and 5.2% WER on test-other.

研究动机与目标

• 评估 SpecAugment 在公开基准之外的大规模、多领域 ASR 数据集上的有效性。
• 探究 SpecAugment 是否能在工业规模设置下超越或补充更复杂的数据增强技术（如多风格训练 MTR）。
• 探索自适应时间掩码策略，根据语音长度调整掩码参数，以提升对不同长度输入的泛化能力。
• 证明 SpecAugment 能够提升流式 ASR 模型（包括 RNN-T 架构）的性能，即使在层归一化导致的训练不稳定性下亦能实现。

提出的方法

• 直接对原始音频输入的频谱图应用 SpecAugment——包括时间扭曲、频率掩码和时间掩码。
• 在干净训练数据上使用固定策略（SpecAugBasic），包含两个频率掩码（F=27）和两个时间掩码（T=50），不使用时间扭曲。
• 引入自适应时间掩码，使掩码的数量和大小根据语音长度动态调整，以提升对长序列和短序列的泛化能力。
• 以 8:2 的比例将 SpecAugmented 的干净数据与 MTR 增强数据混合，以平衡领域泛化能力和鲁棒性。
• 通过在掩码区域注入高斯噪声，稳定流式 RNN-T 模型的训练，以缓解层归一化带来的梯度不稳定性。
• 在多个测试集上进行训练和评估：自然领域（如 Search、Call、YouTube）和通过 MTR 生成的合成领域（如 Search-Noisy）。

实验结果

研究问题

• RQ1 SpecAugment 在大规模、多领域的工业数据集（如 Google 的 Multidomain Dataset）上是否仍能保持其性能增益？
• RQ2 与 SOTA 数据增强方法 MTR 相比，SpecAugment 的表现如何？它是否能与 MTR 互补？
• RQ3 自适应时间掩码（掩码参数随语音长度变化）是否能在大规模任务上超越固定参数的 SpecAugment？
• RQ4 尽管存在层归一化导致的训练不稳定性，SpecAugment 是否能为流式 ASR 模型（尤其是 RNN-T）带来可测量的性能提升？
• RQ5 将 SpecAugment 与 MTR 数据结合的最优策略是什么，才能在多样化测试领域上实现最佳性能？

主要发现

• 在所有自然测试集（如 Search、Call、YouTube）上，对干净数据应用 SpecAugment 的性能优于 MTR 基线，分别达到 Search 上 6.2% WER 和 Call 上 4.2% WER。
• 在 MTR 增强数据上再应用 SpecAugment 会降低大多数领域的性能，表明两种方法之间存在负面交互。
• 将 80% 的 SpecAugmented 干净数据与 20% 的 MTR 增强数据混合，可获得最佳整体性能，相比单独使用任一方法均显著降低 WER。
• 在 LibriSpeech 960h 上，SpecAugment 的自适应时间掩码变体将 test-clean 上的 WER 降低至 2.2%，test-other 上为 5.2%，超越了原始 SpecAugment 论文中报告的基线性能。
• 仅使用时间掩码即可在流式 RNN-T 模型中带来显著性能提升，即使在结合层归一化的情况下亦然，尤其在通过在掩码区域注入噪声稳定训练后效果更明显。
• 尽管在 Google Multidomain Dataset 上自适应时间掩码未超越固定策略，但在 LibriSpeech 上表现出可测量的性能增益，表明自适应策略在特定领域中具有优势。