[论文解读] Shapes of Emotions: Multimodal Emotion Recognition in Conversations via Emotion Shifts

Harsh Agarwal, Keshav Bansal+2 more|arXiv (Cornell University)|Dec 3, 2021

Emotion and Mood Recognition被引用 12

一句话总结

该论文提出了一种增强型多模态情感识别模型，引入模块化情感转移组件，显著提升了在情感突然转变对话中的性能。通过使用孪生网络检测连续话语间的情感转移，并将其与基于GRU的融合机制结合，该模型在MOSEI和IEMOCAP数据集上的表现优于现有方法，尤其在预测情感转移方面，负面到正面情感转变的性能提升了20%。

ABSTRACT

Emotion Recognition in Conversations (ERC) is an important and active research area. Recent work has shown the benefits of using multiple modalities (e.g., text, audio, and video) for the ERC task. In a conversation, participants tend to maintain a particular emotional state unless some stimuli evokes a change. There is a continuous ebb and flow of emotions in a conversation. Inspired by this observation, we propose a multimodal ERC model and augment it with an emotion-shift component that improves performance. The proposed emotion-shift component is modular and can be added to any existing multimodal ERC model (with a few modifications). We experiment with different variants of the model, and results show that the inclusion of emotion shift signal helps the model to outperform existing models for ERC on MOSEI and IEMOCAP datasets.

研究动机与目标

• 通过显式建模话语间的情感转移，提升对话中多模态情感识别的性能。
• 解决现有序列模型在处理突然情感转变（尤其是从正面到负面情绪）方面的局限性。
• 设计一种模块化、可预训练的组件，可仅通过少量修改集成到任意现有多模态ERC模型中。
• 分析GRU门控在情感转移期间的响应行为，并验证该组件对信息门控的影响。
• 通过仅依赖两个连续话语进行转移检测，实现模型在实时场景中的适用性。

提出的方法

• 基于GRU的多模态模型通过早期融合（模态嵌入的拼接）融合文本、音频和视频特征。
• 独立的情感转移组件使用孪生网络比较连续话语，并预测情感转移。
• 孪生网络通过三元组损失进行训练，以学习情感变化的判别性表征，初始实现中仅使用文本模态。
• 情感转移信号用于调制GRU的重置门和更新门，使模型在情感转移期间能够抑制过时的情感状态。
• 该架构具有模块化特性，可通过少量架构修改和微调集成到现有模型中。
• 定性分析通过可视化GRU门控激活情况，验证情感转移组件在转移期间成功降低对过去状态的依赖。

实验结果

研究问题

• RQ1 建模连续话语间的情感转移是否能提升对话中多模态情感识别的性能？
• RQ2 引入情感转移组件如何影响对具有突然情感转变话语的预测？
• RQ3 情感转移模块在情感转移期间对GRU门控行为的影响程度如何？
• RQ4 情感转移组件能否有效应用于单模态和多模态情感识别系统？
• RQ5 情感转移组件是否适用于仅按顺序处理对话的实时情感识别系统？

主要发现

• 所提模型在MOSEI和IEMOCAP数据集上均优于现有最先进模型，尤其在检测情感转移方面表现突出。
• 与Multilogue-Net相比，情感转移组件使负面到正面情感转变的F1分数提升了20%，正面到负面转变提升了4%。
• 基于孪生网络的情感转移组件在仅使用文本模态时达到82.66%的检测准确率，高于多模态融合的82.20%，表明其在转移检测中更优。
• 定性分析显示，情感转移组件在情感转移期间成功降低了GRU重置门的激活，表明其有效抑制了过去情感状态的影响。
• 模型在具有情感转移的语句上性能显著提升，证明该组件在处理动态情感转变方面具有高度有效性。
• 模块化设计使情感转移组件可复用于不同模型，并可在仅使用两个连续话语的实时场景中应用。