[论文解读] Using Large Pre-Trained Models with Cross-Modal Attention for Multi-Modal Emotion Recognition

Krishna D. N|arXiv (Cornell University)|Aug 22, 2021

Speech Recognition and Synthesis参考文献 35被引用 9

一句话总结

该论文提出了一种跨模态注意力机制，将大规模自监督模型——用于音频的wav2vec2.0和用于文本的BERT——整合以提升多模态情感识别性能。通过联合微调这些模型，并利用跨注意力进行特征对齐以及对池化后的话语级表征进行早期融合，该方法在IEMOCAP数据集上相较于先前的最先进方法实现了1.88%的绝对准确率提升。

ABSTRACT

Recently, self-supervised pre-training has shown significant improvements in many areas of machine learning, including speech and NLP. We propose using large self-supervised pre-trained models for both audio and text modality with cross-modality attention for multimodal emotion recognition. We use Wav2Vec2.0 [1] as an audio encoder base for robust speech features extraction and the BERT model [2] as a text encoder base for better contextual representation of text. These high capacity models trained on large amounts of unlabeled data contain rich feature representations and improve the downstream task's performance. We use the cross-modal attention [3] mechanism to learn alignment between audio and text representations from self-supervised models. Cross-modal attention also helps in extracting interactive information between audio and text features. We obtain utterance-level feature representation from frame-level features using statistics pooling for both audio and text modality and combine them using the early fusion technique. Our experiments show that the proposed approach obtains a 1.88% absolute improvement in accuracy compared to the previous state-of-the-art method [3] on the IEMOCAP dataset [35]. We also conduct unimodal experiments for both audio and text modalities and compare them with previous best methods.

研究动机与目标

• 通过利用大规模自监督预训练的音频和文本模型，提升多模态情感识别性能。
• 通过利用预训练模型中的丰富表征，解决情感识别中标签数据有限的挑战。
• 通过跨模态注意力机制增强模态之间的特征交互。
• 评估早期融合音频与文本表征在情感分类中的有效性。
• 通过联合微调预训练模型并引入跨注意力机制，在IEMOCAP数据集上建立新的最先进性能。

提出的方法

• 使用wav2vec2.0作为音频编码器基础，从原始波形中提取鲁棒的自监督语音表征。
• 采用BERT-base作为文本编码器基础，生成具有768维隐藏状态的上下文词嵌入。
• 在两个方向上应用跨模态注意力（CMA）——从音频到文本和从文本到音频——以学习对齐与交互特征。
• 对帧级特征应用统计池化，生成两种模态的话语级表征。
• 通过在分类前拼接池化后的音频与文本特征，实现早期融合。
• 使用Adam优化器和基于验证损失的学习率调度器，对整个模型进行端到端微调。

实验结果

研究问题

• RQ1 当联合微调时，像wav2vec2.0和BERT这样的大规模自监督预训练模型是否能提升多模态情感识别性能？
• RQ2 跨模态注意力是否能增强情感识别中音频与文本表征之间的特征对齐与交互？
• RQ3 在IEMOCAP数据集上，该方法与先前最先进方法相比，准确率表现如何？
• RQ4 当使用相同的预训练模型和架构时，单模态系统（仅音频和仅文本）的性能如何？
• RQ5 在训练过程中冻结预训练编码器是否会导致性能下降，相比端到端微调？

主要发现

• 所提方法在IEMOCAP数据集上实现了74.71%的未加权准确率，相较于先前最先进方法有1.88%的绝对提升。
• 仅使用wav2vec2.0并结合CNN与BLSTM的音频单模态模型实现了60.01%的未加权准确率，优于以往的音频单模态方法。
• 通过微调BERT的文本单模态模型达到了71.01%的未加权准确率，超越了以往的文本单模态方法。
• 消融实验表明，联合微调预训练模型并引入跨注意力机制，性能优于冻结编码器的方法。
• 跨模态注意力机制有效捕捉了模态间的依赖关系，使分类性能超越单模态基线。
• 该模型在多模态和单模态设置中均表现出强大的泛化能力，取得了具有竞争力的结果。