[论文解读] Towards Robust Multimodal Sentiment Analysis with Incomplete Data

Haoyu Zhang, Wenbin Wang+1 more|arXiv (Cornell University)|Sep 30, 2024

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

该论文提出了一种以语言为主导的抗噪学习网络（LNLN），用于在数据不完整条件下的鲁棒多模态情感分析。通过主导模态校正（DMC）模块和基于主导模态的多模态学习（DMML）模块，优先并增强语言模态表示的质量，LNLN在MOSI、MOSEI和SIMS数据集上，在各种随机缺失场景下均表现出优越性能，且持续优于现有基线模型。

ABSTRACT

The field of Multimodal Sentiment Analysis (MSA) has recently witnessed an emerging direction seeking to tackle the issue of data incompleteness. Recognizing that the language modality typically contains dense sentiment information, we consider it as the dominant modality and present an innovative Language-dominated Noise-resistant Learning Network (LNLN) to achieve robust MSA. The proposed LNLN features a dominant modality correction (DMC) module and dominant modality based multimodal learning (DMML) module, which enhances the model's robustness across various noise scenarios by ensuring the quality of dominant modality representations. Aside from the methodical design, we perform comprehensive experiments under random data missing scenarios, utilizing diverse and meaningful settings on several popular datasets ( extit{e.g.,} MOSI, MOSEI, and SIMS), providing additional uniformity, transparency, and fairness compared to existing evaluations in the literature. Empirically, LNLN consistently outperforms existing baselines, demonstrating superior performance across these challenging and extensive evaluation metrics.

研究动机与目标

• 为解决多模态情感分析（MSA）中数据不完整的问题，特别是在存在模态缺失的真实世界场景中。
• 通过在不同噪声水平下保持主导语言模态的完整性，提升模型鲁棒性。
• 在多个基准数据集上，对现有MSA方法在随机数据缺失设置下的表现进行全面、公平且透明的评估。
• 提出一种新颖的架构LNLN，通过增强主导模态的表示质量，同时利用辅助模态实现鲁棒融合。
• 建立标准化的评估协议，采用一致的指标和设置，以促进该领域内公平比较与知识传播。

提出的方法

• LNLN框架采用主导模态校正（DMC）模块，用于重建和优化语言模态特征，确保在其他模态缺失时仍能保持高质量的表示。
• 基于主导模态的多模态学习（DMML）模块利用注意力机制将增强后的语言特征与辅助模态（音频、视频）融合，以提升情感分类性能。
• 设置独立的重建模块用于重建缺失的模态特征，从而减少对主导语言模态的噪声干扰。
• 模型采用端到端训练，联合损失函数结合了分类用的交叉熵损失和缺失数据恢复用的重建损失。
• 在三个基准数据集MOSI、MOSEI和SIMS上，采用受控的随机缺失场景进行评估，保持一致的数据划分和评估协议。
• 该方法利用语言内容的固有丰富性作为主导信号，使其对不完整或噪声输入更具鲁棒性。

实验结果

研究问题

• RQ1 在多模态情感分析中，主导语言模态的完整性在数据不完整条件下如何影响模型鲁棒性？
• RQ2 当面临随机缺失模态实例时，以语言为主导的架构是否能优于现有多模态模型？
• RQ3 一致的评估协议对MSA模型性能的可比性和可靠性有何影响？
• RQ4 所提出的DMC和DMML模块在噪声环境下保持和利用高质量语言表示方面效果如何？
• RQ5 重建模块在多大程度上有助于减少对主导模态的噪声干扰？

主要发现

• LNLN在MOSI、MOSEI和SIMS三个基准数据集上，于各种随机缺失数据场景下均达到最先进性能。
• 该模型在多个评估指标上持续优于现有基线模型，包括TFR-Net、NIAT和UMDF，展现出卓越的鲁棒性。
• 消融实验表明，DMC和DMML模块显著提升了性能，尤其在语言模态部分或完全缺失时效果更明显。
• 重建模块有效降低了噪声对主导模态的影响，有助于实现更稳定和准确的预测。
• 全面评估揭示了先前研究在指标和设置上的不一致性，凸显了在MSA研究中建立标准化基准的必要性。
• 作者在GitHub上公开了代码，支持可复现性，并推动未来在不完整数据条件下进行鲁棒MSA研究。