[论文解读] Pretext Tasks selection for multitask self-supervised speech representation learning

Salah Zaiem, Titouan Parcollet+2 more|arXiv (Cornell University)|Jul 1, 2021

Speech Recognition and Synthesis被引用 4

一句话总结

本文提出了一种理论基础扎实、计算高效的多任务自监督语音表示学习中预训练任务的选择与加权方法。通过利用条件独立性来估计最优损失权重，该方法减少了对昂贵超参数搜索的依赖，在自动语音识别（ASR）、说话人验证、情感识别和乐器分类任务上均实现了最先进性能，相比基线模型，词错误率（WER）降低达31.6%，等错误率（EER）降低27.4%。

ABSTRACT

Through solving pretext tasks, self-supervised learning leverages unlabeled data to extract useful latent representations replacing traditional input features in the downstream task. In audio/speech signal processing, a wide range of features where engineered through decades of research efforts. As it turns out, learning to predict such features (a.k.a pseudo-labels) has proven to be a particularly relevant pretext task, leading to useful self-supervised representations which prove to be effective for downstream tasks. However, methods and common practices for combining such pretext tasks for better performance on the downstream task have not been explored and understood properly. In fact, the process relies almost exclusively on a computationally heavy experimental procedure, which becomes intractable with the increase of the number of pretext tasks. This paper introduces a method to select a group of pretext tasks among a set of candidates. The method we propose estimates calibrated weights for the partial losses corresponding to the considered pretext tasks during the self-supervised training process. The experiments conducted on automatic speech recognition, speaker and emotion recognition validate our approach, as the groups selected and weighted with our method perform better than classic baselines, thus facilitating the selection and combination of relevant pseudo-labels for self-supervised representation learning.

研究动机与目标

• 解决多任务自监督语音表示学习中预训练任务选择与组合缺乏系统性、理论驱动方法的问题。
• 降低大规模模型中预训练任务组合的超参数搜索计算负担，该搜索在大规模模型下变得不可行。
• 开发一种方法，实现针对特定下游任务的智能、数据驱动的预训练任务组选择。
• 在多样化的下游任务上验证该方法，包括低资源场景和非语音音频，证明其泛化能力与鲁棒性。
• 通过SpeechBrain发布代码，支持可复现性，并推动高效自监督学习的进一步研究。

提出的方法

• 该方法利用下游任务标签与预训练任务标签在自监督表示条件下的条件独立性（CI），估计各预训练任务的校准损失权重。
• 将选择问题建模为预训练期间部分损失的加权组合，其中权重由基于CI的统计依赖关系推导得出。
• 通过强制对齐（如蒙特利尔强制对齐工具）获得的词级对齐来计算CI估计，以建模语音标签与预训练特征之间的关系。
• 该方法在预训练过程中应用，动态调整每个预训练任务对总体损失的贡献，优先选择对下游任务最具预测性的任务。
• 该框架与标准SSL架构（如PASE类编码器和wav2vec 2.0）兼容，可无缝集成到现有流水线中。
• 通过对比使用CI优化的预训练任务组与随机或均匀加权组合训练的模型，采用WER、EER和准确率等下游指标进行评估。

实验结果

研究问题

• RQ1 条件独立性估计能否为多任务自监督学习中预训练任务的选择与加权提供一种原则性替代方案，而非依赖经验超参数搜索？
• RQ2 所提出的方法是否能在多样化的语音与音频任务中提升下游性能，包括ASR、说话人识别和情感识别？
• RQ3 该方法在不同数据集、模型架构以及音频类型（如语音与音乐）之间是否具备良好的可扩展性与泛化能力？
• RQ4 该方法在多大程度上减少了预训练任务选择中计算成本高昂的消融研究需求？
• RQ5 该方法能否有效应用于wav2vec 2.0等最先进SSL模型，以提升性能而不增加训练成本？

主要发现

• 在LibriSpeech 100小时ASR基准上，该方法相比使用随机或均匀加权的基线模型，实现了31.6%的词错误率（WER）相对降低。
• 在VoxCeleb1说话人识别任务中，该方法将等错误率（EER）降低了27.4%，表明其具备更高的鲁棒性与泛化能力。
• 在IEMOCAP情感识别数据集上，使用该方法训练的模型准确率比基线高出7.8%，表明其能更好地捕捉情感线索。
• 在乐器分类任务中，该方法在无需任何任务特定架构修改的情况下实现了最先进性能，展现出跨领域的强大泛化能力。
• 该方法显著减少了对大规模超参数搜索的需求，使用CI优化的预训练任务组训练的模型在无需额外调优的情况下优于所有基线。
• 该方法在wav2vec 2.0上的应用展示了良好的可扩展性与鲁棒性，进一步验证了其与现代SSL架构的兼容性，以及在更广泛场景中应用的潜力。