[论文解读] UniSpeech-SAT: Universal Speech Representation Learning with Speaker Aware Pre-Training

Sanyuan Chen, Yu Wu+9 more|arXiv (Cornell University)|Oct 12, 2021

Speech Recognition and Synthesis被引用 9

一句话总结

该论文提出UniSpeech-SAT，一种自监督语音表示模型，通过在HuBERT框架中整合逐句对比损失和逐句混合数据增强策略，提升说话人感知的预训练效果。该方法在SUPERB基准的面向说话人的任务中取得最先进性能，尤其在说话人分割与识别任务中表现突出，说话人分割错误率相对降低25%，同时保持了较强的自动语音识别（ASR）性能。

ABSTRACT

Self-supervised learning (SSL) is a long-standing goal for speech processing, since it utilizes large-scale unlabeled data and avoids extensive human labeling. Recent years witness great successes in applying self-supervised learning in speech recognition, while limited exploration was attempted in applying SSL for modeling speaker characteristics. In this paper, we aim to improve the existing SSL framework for speaker representation learning. Two methods are introduced for enhancing the unsupervised speaker information extraction. First, we apply the multi-task learning to the current SSL framework, where we integrate the utterance-wise contrastive loss with the SSL objective function. Second, for better speaker discrimination, we propose an utterance mixing strategy for data augmentation, where additional overlapped utterances are created unsupervisely and incorporate during training. We integrate the proposed methods into the HuBERT framework. Experiment results on SUPERB benchmark show that the proposed system achieves state-of-the-art performance in universal representation learning, especially for speaker identification oriented tasks. An ablation study is performed verifying the efficacy of each proposed method. Finally, we scale up training dataset to 94 thousand hours public audio data and achieve further performance improvement in all SUPERB tasks.

研究动机与目标

• 通过显式增强预训练模型中的说话人身份区分能力，改进自监督语音表征学习。
• 解决现有自监督学习（SSL）框架主要优化语音内容而忽略说话人特征的局限性。
• 探究无监督预训练是否可被调整以更好地保留说话人信息，而无需使用说话人级别标注。
• 评估多任务学习与数据增强在提升说话人表征能力方面的有效性，同时不损害基于内容的性能。

提出的方法

• 将逐句对比损失整合到预训练目标中，利用聚合的逐句嵌入和基于说话人的伪标签，以提升说话人区分能力。
• 提出一种逐句混合策略，通过组合随机语音样本生成部分重叠的训练样本，增强对说话人重叠的鲁棒性。
• 在HuBERT框架内应用所提方法，以掩码预测作为主要的自监督学习目标，同时引入说话人感知的监督信号。
• 利用基础HuBERT模型第6层Transformer的聚类结果生成伪标签，作为预训练的目标。
• 在大规模无监督语音数据上进行训练，包括LibriVox、GigaSpeech和VoxPopuli，最大模型的总训练时长达94k小时。
• 采用多任务训练目标，结合对比损失与掩码预测损失，联合优化内容与说话人表征。

Fig. 1 : An illustration of our method. We conduct contrastive loss in the intermediate layer, and use mixed utterance as input.

实验结果

研究问题

• RQ1 自监督预训练能否在不依赖标注说话人数据的情况下，更好地捕捉说话人身份？
• RQ2 在预训练模型中引入逐句对比学习，对说话人表征质量有何影响？
• RQ3 将逐句混合作为数据增强策略，在多大程度上能提升对说话人重叠的鲁棒性并增强说话人区分能力？
• RQ4 提升说话人表征是否会影响基于内容的任务（如自动语音识别）的性能？
• RQ5 将预训练数据规模扩展至94k小时，对多样化语音任务的性能有何影响？

主要发现

• 与基线模型相比，UniSpeech-SAT在94k小时数据集上实现25%的相对分割错误率（DER）降低，DER从5.88%降至3.80%。
• 在94k小时设置下，说话人识别准确率达到97.40%（DER 3.80%），显著优于HuBERT Base基线模型。
• 模型在情感识别任务上达到68.48%的准确率，较基线有显著提升，表明对语用线索的表征能力增强。
• 尽管在说话人任务上表现优异，大模型在无语言模型（LM）条件下的ASR词错误率（WER）仍出现9%的下降，但基线模型的差距缩小至2%以内。
• 消融实验表明，逐句对比损失和逐句混合策略均对性能提升有显著贡献，20%的混合比例被确定为在说话人与内容性能之间取得最佳平衡。
• 权重分析显示，浅层更有利于说话人任务，而顶层对内容与语义任务更为关键，证实了模型学习到分层表征。

Fig. 2 : Weight Analysis.