[论文解读] Versatile audio-visual learning for emotion recognition

Lucas Goncalves, Seong-Gyun Leem+3 more|arXiv (Cornell University)|May 12, 2023

Emotion and Mood Recognition被引用 7

一句话总结

本文提出了一种通用的视听学习（VAVL）框架，统一处理单模态与多模态情绪识别任务，涵盖回归（情绪属性）与分类（类别化情绪）任务。该框架采用共享层、共享层上的残差连接，以及单模态重建损失，即使在音频或视觉数据缺失的情况下也能实现鲁棒的表征学习，在CREMA-D与MSP-IMPROV数据集上达到最先进性能。

ABSTRACT

Most current audio-visual emotion recognition models lack the flexibility needed for deployment in practical applications. We envision a multimodal system that works even when only one modality is available and can be implemented interchangeably for either predicting emotional attributes or recognizing categorical emotions. Achieving such flexibility in a multimodal emotion recognition system is difficult due to the inherent challenges in accurately interpreting and integrating varied data sources. It is also a challenge to robustly handle missing or partial information while allowing direct switch between regression or classification tasks. This study proposes a versatile audio-visual learning (VAVL) framework for handling unimodal and multimodal systems for emotion regression or emotion classification tasks. We implement an audio-visual framework that can be trained even when audio and visual paired data is not available for part of the training set (i.e., audio only or only video is present). We achieve this effective representation learning with audio-visual shared layers, residual connections over shared layers, and a unimodal reconstruction task. Our experimental results reveal that our architecture significantly outperforms strong baselines on the CREMA-D, MSP-IMPROV, and CMU-MOSEI corpora. Notably, VAVL attains a new state-of-the-art performance in the emotional attribute prediction task on the MSP-IMPROV corpus.

研究动机与目标

• 开发一种统一的多模态学习框架，支持仅音频、仅视频及音视频联合设置。
• 实现在单一架构内无缝切换情绪回归（如唤醒度、效价）与分类（如愤怒、快乐）任务。
• 在训练与推理过程中，当模态缺失或不完整时，提升模型的鲁棒性。
• 在共享层中保持独立的、模态特异的表征，以保留模态特异的特征。
• 在真实人机交互场景中，降低模型复杂度，同时提升性能与可解释性。

提出的方法

• VAVL框架为音频与视觉输入分别设计模态特异的分支，随后通过共享层学习跨模态表征。
• 在共享层上应用残差连接，以稳定训练并改善梯度流动。
• 引入单模态重建任务，以促使模型即使在缺乏配对数据时，也能从单一模态中学习有意义的表征。
• 共享层被训练为生成音频与视觉模态的分离嵌入，从而增强模态特异的特征学习。
• 通过多头预测头，联合优化情绪回归与分类任务。
• 模型采用端到端训练，支持在无需微调的情况下实现单模态设置下的零样本推理。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效处理回归与分类任务下的单模态与多模态情绪识别？
• RQ2 当推理时仅有一个模态可用时，模型如何保持高性能？
• RQ3 共享层结合残差连接与重建任务，在多模态情绪识别中在多大程度上提升了表征学习？
• RQ4 所提出的框架是否在音视频与单模态设置下均优于现有最先进模型？
• RQ5 模型能否在共享层中学习到清晰的、模态特异的表征，同时仍实现有效的跨模态融合？

主要发现

• 在MSP-IMPROV数据集上，VAVL在音视频回归任务中分别取得了0.856、0.814与0.876的唤醒度、效价与支配度性能，达到最先进水平。
• 在MSP-IMPROV的仅音频设置中，VAVL优于所有基线模型，展现出卓越的单模态表征学习能力。
• 在CREMA-D数据集上，VAVL在音视频分类任务中取得了最高的F1-macro（0.779）与F1-micro（0.826）得分。
• VAVL的共享层产生的音频与视觉表征之间的平均余弦距离显著高于基线模型，表明模态特异特征的分离效果更优。
• 消融实验确认，共享层、残差连接与单模态重建等所有组件均对性能提升有显著贡献。
• 即使在部分配对数据上进行训练，模型仍保持强性能，展现出对模态缺失场景的鲁棒性。