[论文解读] Noise-Resistant Multimodal Transformer for Emotion Recognition

Yuanyuan Liu, Haoyu Zhang+5 more|arXiv (Cornell University)|May 4, 2023

Emotion and Mood Recognition被引用 5

一句话总结

该论文提出了一种新型多模态情感识别架构——抗噪多模态Transformer（NORM-TR），通过采用噪声感知训练方案学习噪声不变的通用特征（NRGFs），显著提升了对噪声输入的鲁棒性。通过将NRGFs作为查询，多模态特征（MFs）作为键和值，NORM-TR在MOSI、MOSEI、IEMOCAP和RML数据集上实现了最先进性能，显著提升了准确率与抗噪能力。

ABSTRACT

Multimodal emotion recognition identifies human emotions from various data modalities like video, text, and audio. However, we found that this task can be easily affected by noisy information that does not contain useful semantics. To this end, we present a novel paradigm that attempts to extract noise-resistant features in its pipeline and introduces a noise-aware learning scheme to effectively improve the robustness of multimodal emotion understanding. Our new pipeline, namely Noise-Resistant Multimodal Transformer (NORM-TR), mainly introduces a Noise-Resistant Generic Feature (NRGF) extractor and a Transformer for the multimodal emotion recognition task. In particular, we make the NRGF extractor learn a generic and disturbance-insensitive representation so that consistent and meaningful semantics can be obtained. Furthermore, we apply a Transformer to incorporate Multimodal Features (MFs) of multimodal inputs based on their relations to the NRGF. Therefore, the possible insensitive but useful information of NRGF could be complemented by MFs that contain more details. To train the NORM-TR properly, our proposed noise-aware learning scheme complements normal emotion recognition losses by enhancing the learning against noises. Our learning scheme explicitly adds noises to either all the modalities or a specific modality at random locations of a multimodal input sequence. We correspondingly introduce two adversarial losses to encourage the NRGF extractor to learn to extract the NRGFs invariant to the added noises, thus facilitating the NORM-TR to achieve more favorable multimodal emotion recognition performance. In practice, on several popular multimodal datasets, our NORM-TR achieves state-of-the-art performance and outperforms existing methods by a large margin, which demonstrates that the ability to resist noisy information is important for effective emotion recognition.

研究动机与目标

• 解决多模态输入中噪声性、语义无关信息（如背景音频、无关视觉线索）对情感识别性能的负面影响。
• 构建一种鲁棒的多模态融合框架，即使在任一模态存在噪声时也能保持准确的情感理解能力。
• 设计一种噪声感知学习方案，显式训练模型对输入序列中随机注入的噪声保持不变。
• 提取通用的、抗干扰的表征（NRGFs），在保留核心情感语义的同时过滤噪声。
• 通过利用MFs补充NRGFs，提升多模态融合效果，确保模态特定的详细信息增强模型鲁棒性。

提出的方法

• 提出一种抗噪通用特征（NRGF）提取器，通过噪声感知学习方案学习对噪声不变的表征。
• 采用多模态融合Transformer，其中NRGFs作为查询，来自音频、视频和文本的多模态特征（MFs）作为键和值，实现上下文感知的融合。
• 在训练过程中对输入序列应用随机掩码或噪声注入，模拟所有或特定模态中的真实世界噪声。
• 使用两种对抗性损失，强制NRGFs对注入噪声保持不变，从而在推理阶段提升鲁棒性。
• 采用核密度估计（KDE）和余弦相似度可视化并分析不同训练策略下NRGFs与MFs的分布特性。
• 通过超参数调优优化模型性能，包括输入序列长度（设定为8帧以获得最佳准确率）和注意力机制设计。

实验结果

研究问题

• RQ1 通过显式学习噪声不变表征，多模态Transformer模型能否在对抗噪声输入方面实现更强的鲁棒性？
• RQ2 在融合Transformer中使用NRGFs作为查询，相比标准多模态融合方法，能否显著提升情感识别准确率？
• RQ3 噪声感知学习方案在多大程度上增强了模型在噪声条件下的泛化能力？
• RQ4 在有无噪声感知学习方案的情况下，NRGFs与MFs的分布如何变化？这对特征鲁棒性有何启示？
• RQ5 融合Transformer中的注意力机制是否倾向于关注干净帧而非掩码/噪声帧，从而表明实现了有效的噪声抑制？

主要发现

• NORM-TR在MOSI、MOSEI、IEMOCAP和RML数据集上均达到最先进性能，显著优于现有方法。
• 当输入序列长度设定为8帧时，NORM-TR在MOSI数据集上达到88.89%的准确率，而在32帧时性能急剧下降，归因于噪声累积。
• 可视化结果表明，在采用噪声感知学习方案时，NRGFs彼此高度相似（相似度≈1），而NRGFs与MFs则明显不同（相似度≈0），表明其具备鲁棒性与模态特异性。
• 融合Transformer中的注意力权重显著降低对掩码（噪声）帧的关注，证实模型更偏好干净、信息丰富的输入。
• 噪声感知学习方案有效降低了从噪声输入中提取的NRGFs之间的相似度，证明NRGFs变得更加通用且对噪声具有一致性。
• 该方法展现出强大的泛化能力，能有效处理显式注入的噪声以及隐式的现实世界噪声。