[论文解读] Self-Supervised Learning for Audio-Based Emotion Recognition

Peranut Nimitsurachat, Peter Washington|arXiv (Cornell University)|Jul 23, 2023

Music and Audio ProcessingComputer Science被引用 3

一句话总结

本文提出一种基于编码声学特征（74维COVAREP嵌入）的自监督学习（SSL）方法，用于基于音频的情感识别，数据来自CMU-MOSEI数据集。通过在无标注数据上进行掩码时间戳预测预训练，并在小规模有标签数据集上微调，该方法显著提升了情感分类性能，尤其在易于识别的情感（如快乐、悲伤和愤怒）上表现突出，表明当有标签数据稀缺时，SSL最为有效。

ABSTRACT

Emotion recognition models using audio input data can enable the development of interactive systems with applications in mental healthcare, marketing, gaming, and social media analysis. While the field of affective computing using audio data is rich, a major barrier to achieve consistently high-performance models is the paucity of available training labels. Self-supervised learning (SSL) is a family of methods which can learn despite a scarcity of supervised labels by predicting properties of the data itself. To understand the utility of self-supervised learning for audio-based emotion recognition, we have applied self-supervised learning pre-training to the classification of emotions from the CMU- MOSEI's acoustic modality. Unlike prior papers that have experimented with raw acoustic data, our technique has been applied to encoded acoustic data. Our model is first pretrained to uncover the randomly-masked timestamps of the acoustic data. The pre-trained model is then fine-tuned using a small sample of annotated data. The performance of the final model is then evaluated via several evaluation metrics against a baseline deep learning model with an identical backbone architecture. We find that self-supervised learning consistently improves the performance of the model across all metrics. This work shows the utility of self-supervised learning for affective computing, demonstrating that self-supervised learning is most useful when the number of training examples is small, and that the effect is most pronounced for emotions which are easier to classify such as happy, sad and anger. This work further demonstrates that self-supervised learning works when applied to embedded feature representations rather than the traditional approach of pre-training on the raw input space.

研究动机与目标

• 解决情感计算中基于音频的情感识别因标注数据有限而面临的瓶颈问题。
• 探究当训练数据稀缺时，自监督学习（SSL）是否能提升性能，特别是在音频模态中。
• 探索SSL在原始音频之外的预计算高维声学嵌入（74维COVAREP特征）上的有效性。
• 量化SSL在不同情感类型及不同有标签数据量下的性能增益。
• 将预训练的SSL模型与具有相同架构的基准模型进行对比，以隔离预训练的影响。

提出的方法

• 通过在74维特征序列中随机掩码时间戳，并训练模型重建这些掩码部分，对无标注声学数据进行深度学习模型的预训练。
• 在预训练和微调阶段均采用基于Transformer的主干网络架构，确保与基准模型的架构一致性。
• 在CMU-MOSEI数据集的小规模有标签子集上，使用标准交叉熵损失或回归损失对预训练模型进行微调，以预测情感强度。
• 采用多种评估指标：整体和各类情感的平均绝对误差（MAE）、4分类准确率以及各类情感的准确率。
• 在多个运行中训练和评估模型（每种标签数量下进行三次迭代），以评估SSL增益的稳定性和泛化能力。
• 将预训练模型的性能与具有相同架构的非预训练基准模型进行对比，以隔离自监督预训练的影响。

Figure 1: Distribution of emotions in CMU-MOSEI

实验结果

研究问题

• RQ1 与标准监督基线相比，对编码声学特征进行自监督预训练是否能提升情感识别性能？
• RQ2 在微调阶段，SSL带来的性能增益如何随有标签数据量的变化而变化？
• RQ3 SSL的优势是否在某些情感类别中更为显著，例如‘较易识别’的情感（如快乐、悲伤、愤怒）与更细微的情感（如惊讶、恐惧）相比？
• RQ4 当应用于嵌入特征表示而非原始音频波形时，自监督学习是否能有效利用无标注数据？
• RQ5 随着有标签样本数量的增加，预训练模型的收敛过程如何与基线模型趋同？

主要发现

• 自监督学习在所有评估指标上均一致提升性能——包括整体MAE、各类情感的MAE、4分类准确率和各类情感准确率，尤其在有标签数据稀缺时表现显著。
• 当微调阶段仅有0–200个有标签样本时，SSL带来的性能增益最大，随着标签数量增加，增益逐渐减小。
• 模型在‘较易识别’情感（如快乐、悲伤和愤怒）上表现出最显著的改进，而对更细微情感（如惊讶和恐惧）的增益则较小。
• 通过SSL预训练，较易识别情感的平均绝对误差（MAE）显著降低；而即使未进行预训练，细微情感的MAE也已保持在较低水平（0.12–0.16），表明存在性能上限。
• 随着有标签样本数量的增加，预训练模型的性能逐渐趋近于基线模型，表明SSL提供了强大的归纳偏置，尤其在低数据场景下价值最大。
• 将SSL应用于编码声学特征（74维COVAREP嵌入）而非原始音频，效果显著，表明该方法不仅适用于原始输入空间，也适用于特征层面的预训练，为情感计算中的特征级预训练开辟了新途径。

Figure 2: An overview of our proposed methodology for pre-training the deep learning model before transferring pre-trained model to the fine-tuning step