[论文解读] Speech SIMCLR: Combining Contrastive and Reconstruction Objective for Self-supervised Speech Representation Learning

Dongwei Jiang, Wubo Li+3 more|arXiv (Cornell University)|Oct 27, 2020

Speech and Audio Processing参考文献 39被引用 14

一句话总结

Speech SimCLR 提出了一种自监督语音表示学习方法，结合对比学习与重建损失，对原始语音和频谱图应用数据增强。该方法在语音识别和情感识别基准上实现了最先进性能，在微调后于 LibriSpeech test-clean 上达到 5.72% WER，在 TIMIT 上达到 16.4% PER，优于不使用重建损失的基线模型。

ABSTRACT

Self-supervised visual pretraining has shown significant progress recently. Among those methods, SimCLR greatly advanced the state of the art in self-supervised and semi-supervised learning on ImageNet. The input feature representations for speech and visual tasks are both continuous, so it is natural to consider applying similar objective on speech representation learning. In this paper, we propose Speech SimCLR, a new self-supervised objective for speech representation learning. During training, Speech SimCLR applies augmentation on raw speech and its spectrogram. Its objective is the combination of contrastive loss that maximizes agreement between differently augmented samples in the latent space and reconstruction loss of input representation. The proposed method achieved competitive results on speech emotion recognition and speech recognition.

研究动机与目标

• 开发一种受 SimCLR 启发的自监督语音表示学习框架，结合对比学习与重建目标。
• 通过在原始语音和频谱图上应用多模态数据增强，提升学习表示的鲁棒性与泛化能力。
• 探究在语音表示学习中结合对比损失与重建损失的有效性。
• 评估不同数据增强策略、批量大小与训练周期对下游任务性能的影响。
• 在语音识别与情感识别基准上，证明所提方法相较于现有自监督方法的优越性。

提出的方法

• 对原始语音及其频谱图应用数据增强，生成对比学习的正样本对。
• 使用对比损失，使同一语音样本的不同增强视图在潜在空间中尽可能一致。
• 引入重建损失，从潜在特征中重建原始输入表示，以提升表示质量。
• 采用双分支神经网络架构，编码增强视图，并通过动量对比学习计算对比损失。
• 应用多种增强类型：加性噪声、速度扰动、时间/频率掩码、房间混响与音高偏移。
• 端到端训练模型，结合对比损失与重建目标，最终表示用于下游微调。

实验结果

研究问题

• RQ1 能否通过结合对比学习与重建目标，将 SimCLR 在视觉任务中的成功经验迁移至语音表示学习？
• RQ2 不同数据增强策略如何影响自监督语音模型在下游任务中的性能？
• RQ3 结合对比损失与重建损失是否能带来更鲁棒且泛化能力更强的语音表示？
• RQ4 批量大小与训练时长对所提 Speech SimCLR 框架性能有何影响？
• RQ5 Speech SimCLR 在语音识别与情感识别任务上，相较于 wav2vec 2.0 与 TERA 等最先进自监督方法表现如何？

主要发现

• 在微调后，Speech SimCLR 在 LibriSpeech test-clean 上达到 5.72% WER，优于随机初始化基线（6.83%），并匹配 TERA + FMLLR 的性能（5.84%）。
• 在 TIMIT 上，Speech SimCLR 在使用重建损失时达到 16.4% PER，优于随机初始化基线（17.2%），并接近 TERA + FMLLR 的 15.2%。
• 消融实验表明，加性噪声与速度扰动对语音识别最为关键，而音高偏移与频率掩码对情感识别最为重要。
• 重建损失的引入在所有下游任务中均持续提升性能，证实了结合两种目标的优势。
• 更大的批量大小与更长的训练周期可提升下游性能，且随着训练进行，不同批量大小之间的性能差距逐渐缩小。
• 当缺乏足够预训练数据时，该模型在 TIMIT 上表现较差，表明端到端微调需要大规模未转录数据才能获得竞争力结果。