[论文解读] Multi-scale Cooperative Multimodal Transformers for Multimodal Sentiment Analysis in Videos

Lianyang Ma, Yue Yu+2 more|arXiv (Cornell University)|Jun 16, 2022

Sentiment Analysis and Opinion Mining被引用 6

一句话总结

本文提出多尺度协作多模态变换器（MCMulT），一种新颖的多模态情感分析架构，通过利用视觉、文本和语音模态的多尺度表征，增强跨模态交互。通过在多尺度跨模态注意力机制下实现协作式、分层的特征学习，MCMulT在对齐与非对齐的多模态数据集上均实现了最先进性能，优于先前方法如MulT，在多个指标上表现更优。

ABSTRACT

Multimodal sentiment analysis in videos is a key task in many real-world applications, which usually requires integrating multimodal streams including visual, verbal and acoustic behaviors. To improve the robustness of multimodal fusion, some of the existing methods let different modalities communicate with each other and modal the crossmodal interaction via transformers. However, these methods only use the single-scale representations during the interaction but forget to exploit multi-scale representations that contain different levels of semantic information. As a result, the representations learned by transformers could be biased especially for unaligned multimodal data. In this paper, we propose a multi-scale cooperative multimodal transformer (MCMulT) architecture for multimodal sentiment analysis. On the whole, the "multi-scale" mechanism is capable of exploiting the different levels of semantic information of each modality which are used for fine-grained crossmodal interactions. Meanwhile, each modality learns its feature hierarchies via integrating the crossmodal interactions from multiple level features of its source modality. In this way, each pair of modalities progressively builds feature hierarchies respectively in a cooperative manner. The empirical results illustrate that our MCMulT model not only outperforms existing approaches on unaligned multimodal sequences but also has strong performance on aligned multimodal sequences.

研究动机与目标

• 解决视频情感分析中视觉、文本和语音流在时间上错位的非对齐多模态序列挑战。
• 通过在跨模态注意力过程中使用多尺度表征而非单尺度特征，提升多模态融合的鲁棒性。
• 通过在多个尺度上实现方向性跨模态交互，实现模态间的协作式、分层特征学习。
• 通过结合局部和全局注意力的块尺度机制，在保持高性能的同时降低计算复杂度。
• 在对齐与非对齐的多模态情感分析基准上展示卓越性能。

提出的方法

• MCMulT架构采用多尺度跨模态变换器模块（MCTB），将各模态的多尺度表征整合用于跨模态注意力。
• 各模态使用多尺度跨模态注意力（MACT）层，以关注来自源模态的多层级特征，从而在不同语义粒度上增强特征表征。
• 以协作方式执行方向性跨模态交互：各模态逐步利用其他模态增强的特征构建自身的分层表征。
• 块尺度机制结合滑动窗口局部上下文注意力与全局注意力，降低计算复杂度，同时保留长距离依赖关系。
• 模型采用多层MCTB堆叠结构，每层包含多个跨模态变换器（CT）层，每个CT层关注来自源模态的多尺度特征。
• 该架构在非对齐多模态序列上端到端训练，无需人工对齐或特征工程。

实验结果

研究问题

• RQ1 多尺度表征是否能提升非对齐多模态序列中跨模态交互的鲁棒性？
• RQ2 模态间协作式、分层特征学习是否能提升情感分类性能？
• RQ3 块尺度机制如何在多模态变换器中平衡计算效率与性能？
• RQ4 MCMulT是否在对齐与非对齐多模态情感分析基准上均优于现有最先进方法？
• RQ5 为最大化性能，MCTB模块与CT层的最佳配置是什么？

主要发现

• 在CMU-MOSEI数据集上，MCMulT在7分类情感任务中达到51.83%准确率（Acc²₇），在2分类任务中达到83.00%准确率（Acc²₂），较MulT-12在Acc²₂上提升5.6个百分点。
• 在7分类任务中，模型F1得分为82.77%，相关系数为0.699，超越所有MulT变体及单模态基线模型。
• MCMulT-LocalDense变体在Acc²₇上达到51.36%，在Acc²₂上达到82.41%，表明局部上下文注意力优于密集注意力。
• 最优配置为每块使用4个MCTB模块和每块3个CT层，性能在该设置后趋于平稳并略有下降。
• 当视觉和语音模态作为目标模态时，MCMulT相较单模态基线模型性能提升10-15%。
• 模型在不同模态组合（如V,A→T；T,A→V）中均保持强性能，表明其在跨模态融合设置中具备良好泛化能力。