[论文解读] Speech-XLNet: Unsupervised Acoustic Model Pretraining For Self-Attention Networks

Xingchen Song, Guangsen Wang+5 more|arXiv (Cornell University)|Oct 23, 2019

Speech Recognition and Synthesis参考文献 27被引用 11

一句话总结

本文提出 Speech-XLNet，一种基于排列的自监督预训练方法，用于自动语音识别中的自注意力网络。通过在预训练过程中动态打乱语音帧的顺序，该方法实现了双向上下文学习并提升了泛化能力，在 TIMIT 上实现了 15.2% 的相对电话错误率（PER）降低，在 WSJ 上实现了高达 68% 的词错误率（WER）降低，且仅需极少的标注数据。

ABSTRACT

Self-attention network (SAN) can benefit significantly from the bi-directional representation learning through unsupervised pretraining paradigms such as BERT and XLNet. In this paper, we present an XLNet-like pretraining scheme "Speech-XLNet" for unsupervised acoustic model pretraining to learn speech representations with SAN. The pretrained SAN is finetuned under the hybrid SAN/HMM framework. We conjecture that by shuffling the speech frame orders, the permutation in Speech-XLNet serves as a strong regularizer to encourage the SAN to make inferences by focusing on global structures through its attention weights. In addition, Speech-XLNet also allows the model to explore the bi-directional contexts for effective speech representation learning. Experiments on TIMIT and WSJ demonstrate that Speech-XLNet greatly improves the SAN/HMM performance in terms of both convergence speed and recognition accuracy compared to the one trained from randomly initialized weights. Our best systems achieve a relative improvement of 11.9% and 8.3% on the TIMIT and WSJ tasks respectively. In particular, the best system achieves a phone error rate (PER) of 13.3% on the TIMIT test set, which to our best knowledge, is the lowest PER obtained from a single system.

研究动机与目标

• 为解决自回归和自编码预训练在语音表示学习中的局限性，例如缺乏双向上下文和预训练-微调差异。
• 通过基于排列的训练，提升自注意力网络（SANs）在语音识别中的泛化能力和收敛速度。
• 通过稳健的自监督预训练，实现端到端和混合 ASR 系统中有限标注数据的有效利用。

提出的方法

• Speech-XLNet 使用动态排列策略，即为每个训练序列生成新的随机帧排列，避免固定顺序带来的偏差。
• 模型最大化语音特征序列所有可能因式分解顺序的期望对数似然，实现左右上下文的联合建模。
• 通过掩码和重建语音帧而非词元，将 XLNet 的自回归训练范式适配到语音任务中，将其转化为回归任务。
• 编码器架构遵循 Transformer 和 XLNet 的设计，所有排列共享参数，支持端到端优化。
• 在预训练过程中，模型利用所有位置的上下文信息重建被掩码的帧，促进对全局结构的感知。
• 该方法通过使用动态排列而非静态掩码词元，避免了 BERT 的预训练-微调差异，从而模拟多样化的上下文。

实验结果

研究问题

• RQ1 基于排列的预训练能否提升自注意力网络在语音识别中的泛化能力和收敛速度？
• RQ2 动态帧排列与固定顺序的自回归或双向自编码方法相比，在捕捉全局和双向上下文方面表现如何？
• RQ3 与 BERT 式掩码相比，Speech-XLNet 在语音表示学习中在多大程度上减少了预训练-微调差异？
• RQ4 当标注数据稀缺时，该方法是否在低资源 ASR 场景中表现出更好的泛化能力？
• RQ5 与从零开始训练的模型相比，Speech-XLNet 微调后的损失景观在平坦性和最优性方面有何差异？

主要发现

• 在 TIMIT 测试集上，Speech-XLNet 实现了 15.2% 的相对电话错误率（PER）降低，PER 从 15.1% 降至 12.8%。
• 在 WSJ 数据集上，仅使用 7 小时标注数据微调时，该模型将词错误率降低了高达 68.3%，优于从零开始训练的模型。
• 当使用 81 小时标注数据时，最佳系统相比基线实现了 6.1% 的相对 WER 降低，证明了其在低资源条件下的高效性。
• 损失景观可视化显示，经 Speech-XLNet 预训练的模型具有更平坦、更宽广的极小值，表明其具备更强的泛化能力。
• 即使使用更少的预训练数据，基于排列的方法也优于非排列（自回归）和 BERT 类基线模型，证明了其有效性。
• LIBRI-Perm（使用 960 小时 Librispeech 数据）的表现优于 WSJ-NoPerm（使用 879 小时更多数据），证实了动态排列相比标准自回归预训练的优势。