[论文解读] Multimodal Representations Learning Based on Mutual Information Maximization and Minimization and Identity Embedding for Multimodal Sentiment Analysis

Jiahao Zheng, Sen Zhang+2 more|arXiv (Cornell University)|Jan 10, 2022

Sentiment Analysis and Opinion Mining被引用 5

一句话总结

该论文提出MMMIE，一种多模态情感分析模型，通过联合最大化模态对之间的互信息并最小化输入与特征之间的互信息来过滤噪声，从而增强模型的鲁棒性和上下文建模能力。该模型引入身份嵌入以提升上下文感知能力，在IEMOCAP和CMU-MOSEI数据集上取得了最先进性能。

ABSTRACT

Multimodal sentiment analysis (MSA) is a fundamental complex research problem due to the heterogeneity gap between different modalities and the ambiguity of human emotional expression. Although there have been many successful attempts to construct multimodal representations for MSA, there are still two challenges to be addressed: 1) A more robust multimodal representation needs to be constructed to bridge the heterogeneity gap and cope with the complex multimodal interactions, and 2) the contextual dynamics must be modeled effectively throughout the information flow. In this work, we propose a multimodal representation model based on Mutual information Maximization and Minimization and Identity Embedding (MMMIE). We combine mutual information maximization between modal pairs, and mutual information minimization between input data and corresponding features to mine the modal-invariant and task-related information. Furthermore, Identity Embedding is proposed to prompt the downstream network to perceive the contextual information. Experimental results on two public datasets demonstrate the effectiveness of the proposed model.

研究动机与目标

• 解决多模态情感分析中文本、语音和视频模态之间的异质性差距。
• 通过最小充分信息约束过滤冗余和噪声信息，提升模型鲁棒性。
• 通过实现从深层到浅层的上下文感知，增强对话序列中的上下文建模能力。
• 构建一个统一框架，将互信息优化与身份嵌入相结合，实现端到端的多模态表示学习。
• 克服先前方法依赖几何变换或晚期交互机制的局限性，这些方法通常增加计算成本并损失浅层信息。

提出的方法

• 利用MINE估计器，对模态对（文本-语音、语音-视频、文本-视频）之间的互信息（MI）进行最大化，以学习模态不变的表示。
• 利用CLUB估计器，对输入数据与特征之间的互信息（MI）进行最小化，以强制实现最小充分信息，减少噪声并提升鲁棒性。
• 引入身份嵌入（IE），以在浅层到深层之间保留并传播上下文动态，增强长距离依赖建模能力。
• 设计联合优化目标，结合互信息下界（MINE）与上界（CLUB），以同时促进跨模态对齐与噪声抑制。
• 将所提组件整合到统一的深度神经网络架构中，实现在多个层次上的多模态特征融合。
• 通过从MI估计中衍生的辅助损失进行端到端训练，实现信息流中的有效反向传播。

实验结果

研究问题

• RQ1 模态对之间的互信息最大化是否能改善多模态情感分析中的跨模态表示对齐？
• RQ2 输入与特征之间的互信息最小化是否能通过过滤冗余和噪声信息来增强模型鲁棒性？
• RQ3 所提出的身份嵌入机制是否能有效提升多模态对话中序列话语的上下文建模能力？
• RQ4 与现有的几何或注意力融合策略相比，互信息最大化与最小化的联合优化在性能与效率方面表现如何？
• RQ5 所提出的MMMIE框架在不同多模态情感分析基准上的泛化能力如何？

主要发现

• 所提出的MMMIE模型在IEMOCAP和CMU-MOSEI数据集上均取得了最先进性能，优于现有方法。
• 消融研究显示，联合使用互信息最大化与最小化显著提升了模型鲁棒性，且当二者整合进优化目标后，互信息下界曲线趋于稳定。
• 引入互信息最小化后，噪声影响明显降低，表现为输入与特征之间互信息的上界曲线下降。
• 案例研究显示，模型能有效利用模态不变特征，当至少两个模态提供强线索时，能正确识别情绪。
• 模型偶尔因文本线索模糊而误分类，表明其可能过度依赖文本模态，提示需改进模态平衡机制。
• 身份嵌入有助于提升上下文感知能力，尤其在情绪随时间演变的序列中表现更优，如存在延迟情绪表达的样本所示。