[论文解读] W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training

Yu-An Chung, Yu Zhang+5 more|arXiv (Cornell University)|Aug 7, 2021

Speech Recognition and Synthesis参考文献 38被引用 15

一句话总结

w2v-BERT 提出了一种端到端的自监督语音预训练框架，联合优化语音单元离散化对比学习与所得 token 的掩码语言建模（MLM）。该方法在 LibriSpeech 上实现了最先进性能，相比 wav2vec 2.0 和 HuBERT 将 WER 相对降低 5–10%，并在真实语音搜索任务中相较基于 Conformer 的基线模型将准确率提升超过 30%。

ABSTRACT

Motivated by the success of masked language modeling~(MLM) in pre-training natural language processing models, we propose w2v-BERT that explores MLM for self-supervised speech representation learning. w2v-BERT is a framework that combines contrastive learning and MLM, where the former trains the model to discretize input continuous speech signals into a finite set of discriminative speech tokens, and the latter trains the model to learn contextualized speech representations via solving a masked prediction task consuming the discretized tokens. In contrast to existing MLM-based speech pre-training frameworks such as HuBERT, which relies on an iterative re-clustering and re-training process, or vq-wav2vec, which concatenates two separately trained modules, w2v-BERT can be optimized in an end-to-end fashion by solving the two self-supervised tasks~(the contrastive task and MLM) simultaneously. Our experiments show that w2v-BERT achieves competitive results compared to current state-of-the-art pre-trained models on the LibriSpeech benchmarks when using the Libri-Light~60k corpus as the unsupervised data. In particular, when compared to published models such as conformer-based wav2vec~2.0 and HuBERT, our model shows~5\% to~10\% relative WER reduction on the test-clean and test-other subsets. When applied to the Google's Voice Search traffic dataset, w2v-BERT outperforms our internal conformer-based wav2vec~2.0 by more than~30\% relatively.

研究动机与目标

• 通过在统一的端到端框架中结合对比学习与掩码语言建模（MLM），提升自监督语音表征学习性能。
• 克服现有两阶段方法（如 vq-wav2vec 和 DiscreteBERT）在表征学习过程中冻结离散化器的局限性。
• 实现语音单元发现与上下文表征学习的联合优化，避免来自预训练离散化器的误差传播。
• 在标准基准（LibriSpeech）和真实世界、具有挑战性的语音数据（Google Voice Search）上验证该框架的有效性。
• 分析对比学习与 MLM 之间的相互作用，特别是对比学习在实现有效掩码预测中的必要性。

提出的方法

• 模型采用共享的特征编码器，后接两个并行的 Conformer 块堆栈：一个用于对比学习，另一个用于掩码语言建模（MLM）。
• 对比模块通过在对比目标中预测未来帧，学习将连续语音离散化为有限个可区分的单元。
• MLM 模块从上下文中预测被掩码的离散单元，类似于 NLP 中 BERT 的掩码标记预测机制。
• 两个目标以端到端方式联合优化，使模型能够同时优化离散化与上下文表征。
• 该框架使用码本将连续表征映射为离散单元，这些离散单元随后作为 MLM 任务的目标。
• 模型在 60,000 小时的 Libri-Light 数据上进行预训练，并在标准 Conformer 架构上进行微调以完成监督 ASR 任务。

Fig. 1 : Illustration of the w2v-BERT pre-training framework. w2v-BERT is composed of a feature encoder, a contrastive module, and a masked language modeling (MLM) module, where the latter two are both a stack of conformer blocks. $N$ and $M$ denote the number of conformer blocks in the two modules,

实验结果

研究问题

• RQ1 与单独或迭代训练相比，联合优化对比学习与掩码语言建模是否能提升自监督语音表征学习性能？
• RQ2 与冻结离散化器的两阶段方法相比，对比模块与 MLM 模块的端到端训练是否能带来更好的性能？
• RQ3 对比模块的容量如何影响 MLM 模块的性能及整体 ASR 准确率？
• RQ4 w2v-BERT 是否能泛化到真实世界中噪声大、时长短的语音样本（如语音搜索），而标准对比学习在此类场景中表现不佳？
• RQ5 对比学习在本框架中对实现有效掩码预测起到了何种作用？

主要发现

• w2v-BERT 在 LibriSpeech test-clean 上实现 2.3% 的 WER，在 test-other 上为 4.0%，相比 wav2vec 2.0 和 HuBERT 实现了 5–10% 的相对 WER 降低。
• 在 Google Voice Search 数据集上，w2v-BERT XL 将 WER 从基线的 10.8 降低至 6.2，实现超过 30% 的相对提升。
• w2v-BERT 的性能随对比模块深度增加而提升，直至 8–12 层达到最优，之后收益递减。
• 当对比模块过深时，掩码预测模块成为瓶颈，表明两模块之间需要容量平衡。
• 实证分析证实，对比学习对于实现有效掩码预测至关重要，若移除对比学习，MLM 性能显著下降。
• 在所有 LibriSpeech 子集上，w2v-BERT 均优于 wav2vec 2.0 和 w2v-Conformer XL，即使使用先前工作的相同超参数也保持一致优势。

(a) MLM training loss