[论文解读] Multimodal Local-Global Ranking Fusion for Emotion Recognition

Paul Pu Liang, Amir Zadeh+1 more|arXiv (Cornell University)|Aug 12, 2018

Emotion and Mood Recognition参考文献 30被引用 4

一句话总结

本文提出了一种新型的多模态局部-全局排序融合方法（MLRF），用于多模态情感识别，该方法结合了绝对情感标签的直接预测与视频片段间情感强度变化的相对排序。通过将任务分解为局部排序、基于贝叶斯推理的全局排序以及直接-相对融合，MLRF在 AVES16 基准测试中取得了最先进性能，相较于强基线模型，情感维度的 CCC 得分最高提升 0.0508，唤醒度维度最高提升 0.032。

ABSTRACT

Emotion recognition is a core research area at the intersection of artificial intelligence and human communication analysis. It is a significant technical challenge since humans display their emotions through complex idiosyncratic combinations of the language, visual and acoustic modalities. In contrast to traditional multimodal fusion techniques, we approach emotion recognition from both direct person-independent and relative person-dependent perspectives. The direct person-independent perspective follows the conventional emotion recognition approach which directly infers absolute emotion labels from observed multimodal features. The relative person-dependent perspective approaches emotion recognition in a relative manner by comparing partial video segments to determine if there was an increase or decrease in emotional intensity. Our proposed model integrates these direct and relative prediction perspectives by dividing the emotion recognition task into three easier subtasks. The first subtask involves a multimodal local ranking of relative emotion intensities between two short segments of a video. The second subtask uses local rankings to infer global relative emotion ranks with a Bayesian ranking algorithm. The third subtask incorporates both direct predictions from observed multimodal behaviors and relative emotion ranks from local-global rankings for final emotion prediction. Our approach displays excellent performance on an audio-visual emotion recognition benchmark and improves over other algorithms for multimodal fusion.

研究动机与目标

• 为解决多模态情感识别挑战，整合与个体无关（绝对）和与个体相关（相对）的情感表达模式。
• 通过成对比较视频片段的情感强度变化，提升音视频情感识别基准的性能。
• 通过利用比绝对情感标注更易学习的相对排序信号，减少对复杂深度神经网络架构的依赖。
• 证明将直接预测与相对排序估计相结合，可获得优于单一方法的性能表现。

提出的方法

• 模型通过比较两个随机采样的短视频片段，执行多模态局部排序，以判断情感强度是否上升或下降。
• 利用贝叶斯技能评分算法聚合局部排序结果，推断整个视频中的全局相对情感排序。
• 直接情感预测由多模态特征（音频、视觉）通过基础模型（如 EF-LSTM）生成，而相对排序则源自全局排序步骤。
• 采用晚期融合机制将直接预测与相对排序结合，生成最终的情感强度估计值。
• 该方法可配置局部比较对数量（k）与窗口大小（w）用于局部片段提取，缺省设置为 w=200 且 k=500 或 1000。
• 该框架在 AVEC16 数据集上进行端到端训练与评估，采用皮尔逊等级相关系数（CCC）衡量唤醒度与情感维度的回归性能。

实验结果

研究问题

• RQ1 通过短视频片段间的情感强度相对比较，能否提升多模态情感识别的性能？
• RQ2 将直接绝对情感预测与相对排序信号融合，是否能优于单独使用任一方法？
• RQ3 局部比较对数量与窗口大小如何影响全局排序质量与最终情感识别性能？
• RQ4 基于排序监督的简单模型能否超越更复杂的架构（如 Gated-LSTM 或 MV-LSTM）？

主要发现

• MLRF-1000 在唤醒度上取得 0.5049 的 CCC 得分，在情感维度上取得 0.5432 的 CCC 得分，优于 AVEC16 数据集上所有基线模型。
• 相较于最佳基线模型（MV-LSTM 全连接层），在唤醒度上提升 0.032，在情感维度上提升 0.0508，表明性能有显著提升。
• 将局部比较对数量从 500 增加至 1000 显著提升了性能，表明更多局部排序有助于提升全局排序估计质量。
• 更大的窗口尺寸（w=200）显著优于较小尺寸（w=10, 50, 100），表明更长的时间上下文对捕捉多模态动态至关重要。
• 消融实验表明，融合直接与相对预测至关重要——仅使用相对预测时性能极差（情感维度 CCC=0.0402），而仅使用直接预测虽表现良好但未达最优。
• 该模型在无需复杂架构的情况下达到最先进性能，证明相对排序信号在多模态学习中具有高度有效性与高效性。