[论文解读] Vector-Quantized Autoregressive Predictive Coding

Yu-An Chung, Hao Tang+1 more|arXiv (Cornell University)|May 17, 2020

Speech Recognition and Synthesis参考文献 24被引用 6

一句话总结

该论文提出向量量化自回归预测编码（VQ-APC），一种自监督语音表征模型，通过向量量化显式控制模型容量，并研究在学习表征中信息的保留情况。通过使用VQ限制容量，模型揭示了在优化自监督目标时，语音音素和说话人信息被显著增强，且生成的离散码与英语音素高度对应。

ABSTRACT

Autoregressive Predictive Coding (APC), as a self-supervised objective, has enjoyed success in learning representations from large amounts of unlabeled data, and the learned representations are rich for many downstream tasks. However, the connection between low self-supervised loss and strong performance in downstream tasks remains unclear. In this work, we propose Vector-Quantized Autoregressive Predictive Coding (VQ-APC), a novel model that produces quantized representations, allowing us to explicitly control the amount of information encoded in the representations. By studying a sequence of increasingly limited models, we reveal the constituents of the learned representations. In particular, we confirm the presence of information with probing tasks, while showing the absence of information with mutual information, uncovering the model's preference in preserving speech information as its capacity becomes constrained. We find that there exists a point where phonetic and speaker information are amplified to maximize a self-supervised objective. As a byproduct, the learned codes for a particular model capacity correspond well to English phones.

研究动机与目标

• 探究自监督损失较低与下游性能强之间在语音表征学习中的关联。
• 理解在模型容量受限时，通过自回归预测编码（APC）学习的表征中编码了何种信息。
• 探索向量量化（VQ）是否可作为精确机制以控制和研究学习表征中的信息内容。
• 确定学习的表征是否包含音素和说话人信息，以及这些信息如何随模型容量变化。
• 评估VQ-APC生成的离散码是否与英语音素等语言单元具有有意义的对应关系。

提出的方法

• 提出VQ-APC，即在自回归模型隐藏层之间插入向量量化层以形成瓶颈的APC扩展。
• 使用预测未来帧与真实帧之间的L1损失进行训练，保持原始APC目标不变。
• 采用可学习码书对隐藏表征进行量化，每帧的比特数由码书大小和序列长度控制。
• 通过不同码书大小的多种配置研究模型行为，分析在容量受限下的信息保留情况。
• 使用探测任务和互信息估计评估表征中是否存在音素和说话人信息。
• 使用线性分类器在音素和说话人分类任务上，将VQ-APC与其它自监督模型（CPC、BMR、Mockingjay、MT-APC）进行比较。

Figure 1: A diagram of VQ-APC. $g_{AR}$ is an autoregressive model with $L$ layers with $g_{AR}^{(\ell)}$ denoting the $\ell$ -th layer and $h_{t}^{(\ell)}$ denoting the output vector of $g_{AR}^{(\ell)}$ at time $t$ . The figure is an example of inserting a VQ layer (area inside the dashed box) bet

实验结果

研究问题

• RQ1 当通过向量量化限制模型容量时，APC表征中保留了何种信息？
• RQ2 随着模型容量降低，表征中音素和说话人信息的存在性如何变化？
• RQ3 VQ-APC生成的离散码是否与英语音素等有意义的语言单元相对应？
• RQ4 最小化自监督预测损失与学习表征的下游性能之间存在何种关系？
• RQ5 在表征质量和信息内容方面，VQ-APC与其它自监督模型相比如何？

主要发现

• 在音素分类任务中，VQ-APC的音素错误率为28.4%，优于APC（33.3%）和MT-APC（30.5%），证明VQ在提升表征质量方面的有效性。
• 在说话人分类任务中，VQ-APC错误率为5.5%，优于APC（8.5%）和MT-APC（7.3%），并与表现最佳的模型Mockingjay（5.1%）相当。
• 互信息估计显示，随着码书增大，信息含量持续提升：码书大小为1、2、3时，归一化互信息分别为0.167、0.285和0.406。
• 探测任务证实，大码书配置下表征中存在音素和说话人信息，而互信息分析则确认小配置中此类信息缺失。
• 特定模型容量下学习到的VQ码与英语音素具有强烈对应关系，表明所学离散单元具有语言学意义。
• 当容量受限时，模型表现出对保留音素和说话人信息的偏好，表明在瓶颈条件下，自监督目标隐式倾向于保留此类信息。

Figure 2: Training loss (purple), phonetic classification (red), and speaker classification (blue) results of VQ-APC with VQ configuration $\{3\}$ using varying codebook sizes. The x-axis is the codebook size, decreasing from 2048 to 64, and the y-axis on the left is the corresponding phone error ra