[论文解读] On Using SpecAugment for End-to-End Speech Translation

Parnia Bahar, Albert Zeyer+2 more|RWTH Publications (RWTH Aachen)|Nov 2, 2019

Natural Language Processing Techniques参考文献 41被引用 23

一句话总结

本文研究了SpecAugment，一种低成本的频谱图增强技术，通过在端到端语音翻译（ST）模型中对音频特征应用随机的时间和频率掩码，实现性能提升。该方法在LibriSpeech Audiobooks En→Fr上实现最高+2.2% BLEU，在IWSLT TED-talks En→De上实现+1.2% BLEU，通过减少过拟合并提升泛化能力，尤其在低资源场景下表现显著。

ABSTRACT

This work investigates a simple data augmentation technique, SpecAugment, for end-to-end speech translation. SpecAugment is a low-cost implementation method applied directly to the audio input features and it consists of masking blocks of frequency channels, and/or time steps. We apply SpecAugment on end-to-end speech translation tasks and achieve up to +2.2% BLEU on LibriSpeech Audiobooks En→Fr and +1.2% on IWSLT TED-talks En→De by alleviating overfitting to some extent. We also examine the effectiveness of the method in a variety of data scenarios and show that the method also leads to significant improvements in various data conditions irrespective of the amount of training data.

研究动机与目标

• 评估SpecAugment是否能提升端到端语音翻译的性能。
• 探究其在过拟合问题突出的低资源数据场景下的有效性。
• 评估该方法是否能在不同规模的训练数据下提升模型的泛化能力和鲁棒性。
• 探索SpecAugment与ST模型中预训练策略的兼容性。

提出的方法

• SpecAugment对梅尔频谱图特征应用随机掩码：时间掩码作用于连续的时间步，频率掩码作用于连续的梅尔频率通道。
• 时间掩码将τ个连续的时间帧设为零，其中τ从[0, R]中均匀采样，起始位置t从[0, T)中均匀采样，以避免越界索引。
• 频率掩码将φ个连续的频率桶设为零，φ从[0, F]中均匀采样，起始频率f从[0, ν)中均匀采样，其中ν为梅尔滤波器组的数量。
• 多个掩码按无放回方式应用，时间掩码数量（mR）和频率掩码数量（mF）为超参数。
• 该方法仅在训练阶段应用，作用于输入ST模型前的原始音频特征，不修改模型架构。
• 该方法在两个ST基准上进行评估：LibriSpeech Audiobooks En→Fr 和 IWSLT TED-talks En→De，并对数据量和预训练策略进行了消融研究。

实验结果

研究问题

• RQ1 SpecAugment是否能提升低资源语音翻译任务中的端到端语音翻译性能？
• RQ2 SpecAugment在从少量到大量训练数据的不同数据量下表现如何？
• RQ3 SpecAugment能否缓解在有限平行语音-文本数据上训练的端到端ST模型中的过拟合问题？
• RQ4 当与ST模型中的预训练策略结合时，SpecAugment是否仍保持有效性？

主要发现

• 与基线直接ST模型相比，SpecAugment在LibriSpeech Audiobooks En→Fr上将BLEU分数最高提升+2.2%，在IWSLT TED-talks En→De上提升+1.2%。
• 该方法减少了过拟合并提升了泛化能力，在所有数据设置下均表现出一致的性能增益，包括将训练数据减半至47k个语料段时。
• 在LibriSpeech数据集上，当结合预训练时，SpecAugment在开发集上达到18.5% BLEU，在测试集上达到16.2% BLEU，比仅使用预训练的模型高出0.5% BLEU。
• 当训练数据减少至47k个语料段时，与全量数据基线相比，SpecAugment实现了1.8%的绝对BLEU提升和2.8%的TER降低。
• 该方法在LSTM和Transformer架构的端到端ST模型中均表现更优，性能与使用独立机器翻译模型进行知识蒸馏的方法相当。
• 即使与预训练结合，SpecAugment依然有效，表明其在数据稀缺场景下可作为预训练的补充或部分替代方案。