[论文解读] Text-oriented Modality Reinforcement Network for Multimodal Sentiment Analysis from Unaligned Multimodal Sequences

Yuxuan Lei, Dingkang Yang+4 more|arXiv (Cornell University)|Jul 25, 2023

Sentiment Analysis and Opinion MiningComputer Science被引用 3

一句话总结

该论文提出了一种面向非对齐序列的多模态情感分析文本导向模态增强网络（TMRN），通过将文本作为核心模态，引导视觉和听觉模态中的跨模态注意力与自注意力机制。TMRN通过基于文本的交互与自适应融合，减少噪声与冗余，从而在MOSI和MOSEI基准上取得最先进性能。

ABSTRACT

Multimodal Sentiment Analysis (MSA) aims to mine sentiment information from text, visual, and acoustic modalities. Previous works have focused on representation learning and feature fusion strategies. However, most of these efforts ignored the disparity in the semantic richness of different modalities and treated each modality in the same manner. That may lead to strong modalities being neglected and weak modalities being overvalued. Motivated by these observations, we propose a Text-oriented Modality Reinforcement Network (TMRN), which focuses on the dominance of the text modality in MSA. More specifically, we design a Text-Centered Cross-modal Attention (TCCA) module to make full interaction for text/acoustic and text/visual pairs, and a Text-Gated Self-Attention (TGSA) module to guide the self-reinforcement of the other two modalities. Furthermore, we present an adaptive fusion mechanism to decide the proportion of different modalities involved in the fusion process. Finally, we combine the feature matrices into vectors to get the final representation for the downstream tasks. Experimental results show that our TMRN outperforms the state-of-the-art methods on two MSA benchmarks.

研究动机与目标

• 解决多模态情感分析中模态贡献失衡的问题，即强模态（如文本）被低估，而弱模态（如音频/视觉）被高估。
• 克服现有方法将所有模态同等对待的局限，忽略模态间语义丰富度的差异。
• 通过利用文本语义作为引导，减少视觉与听觉模态在融合过程中的噪声与冗余。
• 构建一种有效融合非对齐多模态序列的框架，无需人工对齐，同时保留长期依赖关系。
• 证明以文本为中心的设计在标准基准上能显著提升情感分类性能。

提出的方法

• 提出一种文本中心跨模态注意力（TCCA）模块，实现文本与另外两种模态（音频与视觉）之间的双向交互，聚焦于模态间对齐。
• 引入一种文本门控自注意力（TGSA）模块，利用文本表征来门控并优化视觉与听觉模态中的自注意力机制，降低噪声并增强语义相关性。
• 设计一种自适应融合机制，基于学习到的重要性动态分配模态权重，提升模型鲁棒性与性能。
• 在TCCA与TGSA中使用多头注意力机制，并在各模态间共享参数，以减少参数爆炸并提升泛化能力。
• 应用残差连接与层归一化，以稳定训练过程并增强深层网络中的特征学习。
• 通过全局平均池化，将所有模态的最终特征矩阵融合为单一向量表示，用于下游情感分类。

实验结果

研究问题

• RQ1 通过利用文本的语义丰富性，基于文本中心的架构是否能提升非对齐序列上的多模态情感分析性能？
• RQ2 文本模态的主导性在多大程度上影响了较弱模态（如音频与视觉）的表征质量？
• RQ3 与标准跨注意力机制相比，所提出的TCCA与TGSA模块在多大程度上减少了视觉与听觉特征中的噪声与冗余？
• RQ4 在模态增强与模型容量之间取得平衡时，TCCA与TGSA模块的最佳层数是多少？
• RQ5 在非对齐多模态设置中，自适应模态融合是否优于固定或等权重的融合策略？

主要发现

• TMRN在MOSI与MOSEI两个基准上均达到最先进性能，超越先前的SOTA方法（包括Self-MM）。
• 在MOSI上，TMRN取得83.27%准确率（Acc7）、0.7824的F1分数与45.33的MAE，优于先前SOTA方法Self-MM。
• 在MOSEI上，TMRN取得84.75%准确率（Acc7）、0.7817的F1分数与44.75的MAE，各项指标均表现一致优越。
• 消融实验表明，移除TCCA或TGSA模块会导致性能显著下降，验证了其必要性。
• 消融分析显示，文本模态比音频或视觉模态更为关键，当移除文本时性能下降更明显。
• 最优TCCA与TGSA层数为N=3，超过此数量后性能下降，归因于过拟合或引导信号干扰。