[论文解读] PARP: Prune, Adjust and Re-Prune for Self-Supervised Speech Recognition

Cheng-I Lai, Shuicheng Yan+8 more|arXiv (Cornell University)|Jun 10, 2021

Speech Recognition and Synthesis参考文献 124被引用 12

一句话总结

PARP（Prune, Adjust, and Re-Prune）是一种针对自监督语音表示模型的新型剪枝方法，仅通过一次下游微调即可发现稀疏子网络，显著提升低资源自动语音识别（ASR）性能。通过剪枝预训练模型、在保持剪枝权重的同时微调子网络，再进行二次剪枝，PARP在10分钟LibriSpeech数据集上相较完整模型实现了最高达12.6%的相对WER降低。

ABSTRACT

Self-supervised speech representation learning (speech SSL) has demonstrated the benefit of scale in learning rich representations for Automatic Speech Recognition (ASR) with limited paired data, such as wav2vec 2.0. We investigate the existence of sparse subnetworks in pre-trained speech SSL models that achieve even better low-resource ASR results. However, directly applying widely adopted pruning methods such as the Lottery Ticket Hypothesis (LTH) is suboptimal in the computational cost needed. Moreover, we show that the discovered subnetworks yield minimal performance gain compared to the original dense network. We present Prune-Adjust-Re-Prune (PARP), which discovers and finetunes subnetworks for much better performance, while only requiring a single downstream ASR finetuning run. PARP is inspired by our surprising observation that subnetworks pruned for pre-training tasks need merely a slight adjustment to achieve a sizeable performance boost in downstream ASR tasks. Extensive experiments on low-resource ASR verify (1) sparse subnetworks exist in mono-lingual/multi-lingual pre-trained speech SSL, and (2) the computational advantage and performance gain of PARP over baseline pruning methods. In particular, on the 10min Librispeech split without LM decoding, PARP discovers subnetworks from wav2vec 2.0 with an absolute 10.9%/12.6% WER decrease compared to the full model. We further demonstrate the effectiveness of PARP via: cross-lingual pruning without any phone recognition degradation, the discovery of a multi-lingual subnetwork for 10 spoken languages in 1 finetuning run, and its applicability to pre-trained BERT/XLNet for natural language tasks.

研究动机与目标

• 为解决标准剪枝方法（如OMP和IMP）在自监督语音识别中效率低下且性能增益有限的问题。
• 在预训练的自监督语音SSL模型中发现稀疏子网络，使其在低资源ASR上优于原始稠密模型。
• 开发一种仅需一次下游微调即可实现更优性能与计算效率的方法。
• 在低资源、跨语言及多语言ASR设置下验证该方法的有效性。
• 探索该方法在NLP模型（如BERT和XLNet）中的泛化能力。

提出的方法

• 首先，对预训练的SSL模型应用基于幅度的非结构化剪枝，达到目标稀疏度，获得初始子网络与剪枝掩码。
• 其次，在下游ASR任务上微调剪枝后的子网络，允许梯度更新所有权重（包括剪枝掩码中的权重），同时保持掩码结构不变。
• 第三，在训练若干步后，将更新后的子网络再次剪枝至相同的目标稀疏度，仅保留最重要权重。
• 该方法利用了一个关键洞察：在微调过程中进行微调调整，可显著提升性能，优于标准剪枝方法。
• 该方法端到端应用，无需多次微调循环，显著降低计算成本。
• 该方法在wav2vec 2.0和XLSR上进行评估，并扩展至BERT/XLNet以应用于NLP任务。

实验结果

研究问题

• RQ1 在预训练的自监督语音模型中是否存在稀疏子网络，其在低资源ASR上表现优于完整模型？
• RQ2 一次下游微调能否发现性能优于标准剪枝方法的子网络？
• RQ3 PARP方法在低资源、跨语言及多语言ASR设置下是否具备泛化能力？
• RQ4 所发现的子网络是否能在不针对特定语言数据重新训练的情况下维持或提升性能？
• RQ5 PARP方法是否可迁移至非语音模型（如BERT和XLNet）以应用于NLP任务？

主要发现

• PARP从wav2vec 2.0中发现的稀疏子网络在10分钟LibriSpeech数据集上实现了绝对10.9%和12.6%的WER降低，且无需语言模型解码。
• 该方法优于标准剪枝基线（OMP和IMP），后者在所有稀疏度水平下均未表现出优于完整模型的性能增益。
• PARP实现了跨语言剪枝，且在音素识别性能上无退化，展现出跨语言的鲁棒性。
• 仅通过一次微调，即成功发现一个适用于10种口语语言的多语言子网络，证明了其可扩展性。
• 该方法可迁移至NLP模型，在预训练的BERT和XLNet上对自然语言任务表现出有效性。
• 与迭代剪枝相比，该方法显著降低了计算成本，仅需一次下游微调周期。