[论文解读] Representation Learning for Sequence Data with Deep Autoencoding Predictive Components

Junwen Bai, Weiran Wang+2 more|arXiv (Cornell University)|Oct 6, 2020

Speech Recognition and Synthesis参考文献 61被引用 6

一句话总结

本文提出深度自编码预测成分（DAPC），一种用于序列数据的自监督表征学习方法，通过使用基于精确高斯分布的互信息估计，在潜在空间中最大化过去与未来窗口之间的预测信息，同时避免负采样。该方法结合掩码重建损失以防止退化，仅需极少的预训练成本，即可在自动语音识别任务中取得最先进性能。

ABSTRACT

We propose Deep Autoencoding Predictive Components (DAPC) -- a self-supervised representation learning method for sequence data, based on the intuition that useful representations of sequence data should exhibit a simple structure in the latent space. We encourage this latent structure by maximizing an estimate of predictive information of latent feature sequences, which is the mutual information between past and future windows at each time step. In contrast to the mutual information lower bound commonly used by contrastive learning, the estimate of predictive information we adopt is exact under a Gaussian assumption. Additionally, it can be computed without negative sampling. To reduce the degeneracy of the latent space extracted by powerful encoders and keep useful information from the inputs, we regularize predictive information learning with a challenging masked reconstruction loss. We demonstrate that our method recovers the latent space of noisy dynamical systems, extracts predictive features for forecasting tasks, and improves automatic speech recognition when used to pretrain the encoder on large amounts of unlabeled data.

研究动机与目标

• 开发一种自监督表征学习方法，用于序列数据，以捕捉潜在动态，且不依赖对比学习。
• 通过将预测信息最大化与掩码重建相结合，解决基于互信息方法中潜在表征退化的问题。
• 在高斯假设下，提供预测信息的可计算、精确估计，避免对负采样的需求。
• 通过有效的预训练提升下游任务（如预测与自动语音识别）的性能。
• 为序列建模提供一种通用的对比学习替代方案，具备更高的样本效率。

提出的方法

• DAPC 在高斯假设下，使用精确的互信息估计，最大化过去与未来潜在窗口之间的预测信息（PI），从而消除对负采样的需求。
• 该方法使用深度编码器将输入序列映射为潜在表征，且潜在序列长度与输入一致。
• 通过随机掩码输入特征和时间片段，再从潜在码中重建这些部分，应用掩码重建损失以保留输入信息。
• 该框架将预测信息最大化与掩码重建整合到单一训练目标中，具有变分推断的解释。
• 该方法支持多尺度预测信息与偏移重建变体，以提升性能。
• 模型通过反向传播端到端训练，最终编码器在下游任务上使用少量标注数据进行微调。

实验结果

研究问题

• RQ1 在高斯假设下，预测信息估计是否能为序列表征学习提供比对比学习更准确且可计算的替代方案？
• RQ2 当使用强大编码器最大化预测信息时，如何缓解潜在表征中的退化问题？
• RQ3 将预测信息最大化与掩码重建相结合，在多样化序列任务中能在多大程度上提升表征质量？
• RQ4 DAPC 是否能在显著减少标注数据和更小模型规模下，实现自动语音识别中的最先进性能？
• RQ5 在下游准确率与效率方面，DAPC 与 CPC、wav2vec 和 vq-wav2vec 等现有自监督方法相比如何？

主要发现

• 在 WSJ 数据集上，同时采用多尺度 PI 和偏移重建的 DAPC 相较于无预训练基线，在 eval92 上将 WER 降低 11.7%，在 dev93 上降低 7.9%。
• 在 LibriSpeech 上，最佳 DAPC 变体在 test_clean 上达到 4.70% 的 WER，相较于基线实现 15% 的相对提升，并比仅使用掩码重建的模型高出 8% 的绝对提升。
• 消融研究显示，结合多尺度 PI 与偏移重建可获得最佳性能，最强变体在微调 15 小时数据后，使 eval92 的 WER 降低 11.7%。
• DAPC 以约 3000 万个参数的极小模型规模，实现了与 state-of-the-art 方法（如 wav2vec 2.0，3 亿参数）相当的性能，表明其具有极高的样本效率。
• 在合成实验中，该方法成功从高维噪声动力系统中恢复出低维动态，证明其具备解耦潜在结构的能力。
• DAPC 作为具有预测目标的变分自编码器的概率解释，提供了理论基础，并与深度生成模型建立联系。