[论文解读] Multi-task Learning for Multi-modal Emotion Recognition and Sentiment Analysis

Shad Akhtar, Dushyant Singh Chauhan+4 more|arXiv (Cornell University)|May 14, 2019

Sentiment Analysis and Opinion Mining参考文献 20被引用 7

一句话总结

本文提出了一种多任务学习框架，通过联合使用文本、语音和视觉输入，实现多模态情感与情绪识别。通过在循环单元上采用上下文级别的跨模态注意力机制，该模型捕捉了话语之间及模态之间的依赖关系，在CMU-MOSEI数据集上实现了最先进性能。

ABSTRACT

Related tasks often have inter-dependence on each other and perform better when solved in a joint framework. In this paper, we present a deep multi-task learning framework that jointly performs sentiment and emotion analysis both. The multi-modal inputs (i.e., text, acoustic and visual frames) of a video convey diverse and distinctive information, and usually do not have equal contribution in the decision making. We propose a context-level inter-modal attention framework for simultaneously predicting the sentiment and expressed emotions of an utterance. We evaluate our proposed approach on CMU-MOSEI dataset for multi-modal sentiment and emotion analysis. Evaluation results suggest that multi-task learning framework offers improvement over the single-task framework. The proposed approach reports new state-of-the-art performance for both sentiment analysis and emotion analysis.

研究动机与目标

• 解决在视频中融合多模态输入（文本、语音、视觉）以提升情感与情绪识别性能的挑战。
• 利用情感与情绪任务之间的相互依赖性，以提升泛化能力与预测置信度。
• 通过注意力机制建模话语之间及模态特异性贡献的上下文依赖关系。
• 开发一个统一框架，通过共享表示联合优化情感与情绪分类。
• 在多模态情感分析基准上超越单任务学习基线模型。

提出的方法

• 使用基于GRU的循环神经网络，对视频中话语之间的序列依赖关系进行建模。
• 应用上下文级别的跨模态注意力机制，动态加权每句话中文本、语音和视觉模态的贡献。
• 通过在情感与情绪分类头之间共享底层表示，实现多任务学习，同时保持独立的分类头。
• 通过注意力机制实现模态特异性嵌入的晚期融合，使模型能够针对每个样本聚焦于最具信息量的模态。
• 使用交叉熵损失函数，端到端训练整个网络，用于情感与情绪分类任务。
• 在话语间上下文与模态间特征上均使用注意力机制，以增强表示学习能力。

实验结果

研究问题

• RQ1 在多模态设置下，情感与情绪识别的联合学习是否能提升性能，优于单任务学习？
• RQ2 话语之间的上下文依赖关系在多模态情感识别中起到何种作用？
• RQ3 在不同话语上下文中，哪些模态（文本、语音、视觉）对情感与情绪预测贡献最大？
• RQ4 建模情感与情绪之间的相互依赖性在多大程度上能提升分类准确率？
• RQ5 注意力机制能否有效识别每个预测中最相关的模态与话语？

主要发现

• 所提出的多任务学习框架在CMU-MOSEI基准上，对情感与情绪分析均实现了最先进性能。
• 与单任务学习相比，MTL框架提升了精确率与召回率：例如，在一个示例中，MTL在情感分类上达到精确率0.5与召回率1.0，而单任务基线模型仅为0.3与0.5。
• 在单个案例中，模型正确预测了四种情绪（愤怒、厌恶、高兴、悲伤），而单任务模型仅正确预测了三个情绪中的一个。
• 情感信息显著提升了情绪分类效果——例如，正面情感有助于预测“高兴”情绪，这与情绪的正负关联一致。
• MTL框架过度预测“愤怒”（1173次预测）与“悲伤”（1618次预测），而对“恐惧”与“惊讶”预测不足，这可能是由于数据集中类别不平衡所致。
• 模型表明，多任务学习能够更好地捕捉证据并提升泛化能力，尤其在模糊或反讽性话语中表现更优。