[论文解读] SPIRAL: Self-supervised Perturbation-Invariant Representation Learning for Speech Pre-Training

Wenyong Huang, Zhenhe Zhang+3 more|arXiv (Cornell University)|Jan 25, 2022

Speech Recognition and Synthesis被引用 7

一句话总结

SPIRAL 提出了一种自监督语音预训练方法，采用教师-学生框架，通过让学生网络基于动量更新的教师网络提供的干净表示来去噪扰动语音，从而学习对扰动不变的表征。该方法在训练成本降低65–80%的情况下，实现了优于或媲美 wav2vec 2.0 的最先进性能，并通过多条件预训练显著提升了噪声鲁棒性，在真实噪声语音数据上将 WER 降低了 9.0–13.3%。

ABSTRACT

We introduce a new approach for speech pre-training named SPIRAL which works by learning denoising representation of perturbed data in a teacher-student framework. Specifically, given a speech utterance, we first feed the utterance to a teacher network to obtain corresponding representation. Then the same utterance is perturbed and fed to a student network. The student network is trained to output representation resembling that of the teacher. At the same time, the teacher network is updated as moving average of student's weights over training steps. In order to prevent representation collapse, we apply an in-utterance contrastive loss as pre-training objective and impose position randomization on the input to the teacher. SPIRAL achieves competitive or better results compared to state-of-the-art speech pre-training method wav2vec 2.0, with significant reduction of training cost (80% for BASE model, 65% for LARGE model). Furthermore, we address the problem of noise-robustness that is critical to real-world speech applications. We propose multi-condition pre-training by perturbing the student's input with various types of additive noise. We demonstrate that multi-condition pre-trained SPIRAL models are more robust to noisy speech (9.0% - 13.3% relative word error rate reduction on real noisy test data), compared to applying multi-condition training solely in the fine-tuning stage. Source code is available at https://github.com/huawei-noah/Speech-Backbones/tree/main/SPIRAL.

研究动机与目标

• 开发一种更高效且鲁棒的语音预训练方法，以降低训练成本，同时提升噪声鲁棒性。
• 通过训练学生网络利用动量更新的教师网络提供的表征来去噪扰动输入，学习对扰动不变的表征。
• 通过使用单一对比损失与句内对比学习，消除对向量量化或迭代聚类的依赖。
• 通过在预训练阶段应用多种噪声类型的多条件预训练，提升真实世界语音识别性能。
• 通过句内对比损失和输入位置随机化，防止表征坍塌和位置作弊。

提出的方法

• 一种教师-学生框架，其中教师网络处理干净语音，学生网络处理同一语音的扰动版本。
• 教师网络通过学生权重的移动平均在训练步骤中更新，确保目标表征的稳定性。
• 应用句内对比损失以防止表征坍塌，通过鼓励同一语音不同片段之间的表征多样性。
• 通过在教师输入的两端添加随机填充，对教师的输入实施位置随机化，以防止位置坍塌。
• 通过在预训练期间对学生的输入应用多种加性噪声类型，实现多条件预训练，以增强噪声鲁棒性。
• 在 SPIRAL 模型中采用渐进式下采样策略，以最小性能损失降低计算成本。

实验结果

研究问题

• RQ1 基于教师-学生蒸馏的去噪自监督预训练方法，是否能在训练成本低于当前最先进方法（如 wav2vec 2.0）的情况下实现具有竞争力的性能？
• RQ2 与仅在微调阶段应用多条件数据相比，通过多种噪声条件进行预训练，是否能更有效地提升对真实世界噪声语音的鲁棒性？
• RQ3 句内对比损失与位置随机化是否能有效防止序列语音表征中的表征坍塌与位置作弊？
• RQ4 在语音表征学习中，省略向量量化或聚类步骤对模型性能与训练效率有何影响？
• RQ5 对教师网络施加计算噪声（如 dropout、LayerDrop）在多大程度上能提升泛化能力与鲁棒性？

主要发现

• SPIRAL 在 LibriSpeech 测试集-clean 上实现 3.5% 的 WER，在测试集-other 上实现 6.4% 的 WER，性能优于或媲美当前最先进方法（如 wav2vec 2.0），且训练成本显著降低（Base 模型降低 80%，Large 模型降低 65%）。
• 通过多种噪声类型的多条件预训练，真实噪声 CHiME-3 测试数据上的 WER 相对降低 9.0–13.3%，优于仅在微调阶段应用多条件训练的模型。
• 对教师输入施加输入扰动会显著降低性能，支持了将教师保持在干净输入上的设计选择，以实现有效的去噪。
• 对教师网络施加计算噪声（如 dropout、LayerDrop）可带来 15.9% 的相对 WER 降低，表明泛化能力得到提升。
• 当移除预测器后，卷积投影头仍能提升性能，表明预测器与投影头功能相似，但二者并非互补。
• 位置随机化能有效防止位置坍塌，如在表征学习中表现出的更高鲁棒性与稳定性所证实。