[论文解读] Speech Emotion Recognition using Self-Supervised Features

Edmilson Morais, Ron Hoory+4 more|arXiv (Cornell University)|Feb 7, 2022

Speech Recognition and Synthesis被引用 4

一句话总结

本论文提出了一种基于自监督声学特征的模块化端到端语音情感识别（SER）系统，采用自上而下的架构整合多种预训练模型。该系统仅使用语音模态即在IEMOCAP数据集上达到最先进性能，表明经过良好微调的自监督特征可与无需文本输入的多模态最先进系统相媲美。

ABSTRACT

Self-supervised pre-trained features have consistently delivered state-of-art results in the field of natural language processing (NLP); however, their merits in the field of speech emotion recognition (SER) still need further investigation. In this paper we introduce a modular End-to- End (E2E) SER system based on an Upstream + Downstream architecture paradigm, which allows easy use/integration of a large variety of self-supervised features. Several SER experiments for predicting categorical emotion classes from the IEMOCAP dataset are performed. These experiments investigate interactions among fine-tuning of self-supervised feature models, aggregation of frame-level features into utterance-level features and back-end classification networks. The proposed monomodal speechonly based system not only achieves SOTA results, but also brings light to the possibility of powerful and well finetuned self-supervised acoustic features that reach results similar to the results achieved by SOTA multimodal systems using both Speech and Text modalities.

研究动机与目标

• 探究自监督预训练特征在自然语言处理之外的语音情感识别（SER）中的有效性。
• 开发一种模块化端到端SER系统，支持灵活集成多种自监督特征提取器。
• 分析微调策略、特征聚合方法及分类器架构对SER性能的影响。
• 确定仅使用语音模态的自监督特征系统是否可与多模态最先进系统性能相当。
• 为IEMOCAP数据集上自监督特征在SER中的最优配置提供实证洞察。

提出的方法

• 系统采用自上而下的架构，其中上游模型从原始音频中提取自监督特征，下游模型则用于情感分类。
• 评估多种自监督模型（如Wav2Vec 2.0、HuBERT、WavLM）作为上游编码器进行特征提取。
• 使用统计池化（均值与标准差）和时间池化将帧级表征聚合为话语级表征。
• 下游分类器为使用ReLU激活函数和Dropout正则化的前馈神经网络。
• 通过网格搜索调整超参数，并使用交叉熵损失在IEMOCAP数据集上对模型进行微调。
• 该框架支持不同自监督模型的即插即用式集成，以支持对比分析。

实验结果

研究问题

• RQ1 自监督声学特征是否可在单模态语音情感识别中实现最先进性能？
• RQ2 自监督模型的选择如何影响在IEMOCAP数据集上的SER性能？
• RQ3 自监督SER中，特征聚合与分类器架构的最佳组合是什么？
• RQ4 仅使用语音模态的自监督特征系统在多大程度上可与多模态最先进系统性能相当？
• RQ5 微调策略在多大程度上影响自监督特征在SER中的有效性？

主要发现

• 所提出的单模态语音仅系统在IEMOCAP数据集上达到最先进性能，超越了先前的最先进结果。
• 对自监督模型进行微调相比使用冻结特征，显著提升了情感识别准确率。
• 表现最佳的模型采用HuBERT作为上游编码器，搭配经过仔细调优的下游分类器和统计池化。
• 该系统在IEMOCAP数据集上实现了72.3%的加权F1分数，优于以往的单模态方法。
• 仅使用自监督特征即可实现与同时使用语音和文本的多模态系统相当的性能。
• 消融实验证实，特征聚合与分类器设计对最大化自监督特征性能至关重要。