[论文解读] The MuSe 2022 Multimodal Sentiment Analysis Challenge: Humor, Emotional Reactions, and Stress

Lukas Christ, Shahin Amiriparian+10 more|arXiv (Cornell University)|Jun 23, 2022

Humor Studies and Applications被引用 4

一句话总结

本论文介绍了MuSe 2022多模态情感分析挑战赛，引入了三个新颖的数据集，分别用于幽默检测、情感反应强度预测和连续压力情绪回归。通过使用多模态特征和基于LSTM的模型，建立了强有力的基线结果，幽默检测的AUC达到0.8480，情感反应的平均皮尔逊相关系数为0.2801，压力预测中唤醒度的CCC为0.4931。

ABSTRACT

The Multimodal Sentiment Analysis Challenge (MuSe) 2022 is dedicated to multimodal sentiment and emotion recognition. For this year's challenge, we feature three datasets: (i) the Passau Spontaneous Football Coach Humor (Passau-SFCH) dataset that contains audio-visual recordings of German football coaches, labelled for the presence of humour; (ii) the Hume-Reaction dataset in which reactions of individuals to emotional stimuli have been annotated with respect to seven emotional expression intensities, and (iii) the Ulm-Trier Social Stress Test (Ulm-TSST) dataset comprising of audio-visual data labelled with continuous emotion values (arousal and valence) of people in stressful dispositions. Using the introduced datasets, MuSe 2022 2022 addresses three contemporary affective computing problems: in the Humor Detection Sub-Challenge (MuSe-Humor), spontaneous humour has to be recognised; in the Emotional Reactions Sub-Challenge (MuSe-Reaction), seven fine-grained `in-the-wild' emotions have to be predicted; and in the Emotional Stress Sub-Challenge (MuSe-Stress), a continuous prediction of stressed emotion values is featured. The challenge is designed to attract different research communities, encouraging a fusion of their disciplines. Mainly, MuSe 2022 targets the communities of audio-visual emotion recognition, health informatics, and symbolic sentiment analysis. This baseline paper describes the datasets as well as the feature sets extracted from them. A recurrent neural network with LSTM cells is used to set competitive baseline results on the test partitions for each sub-challenge. We report an Area Under the Curve (AUC) of .8480 for MuSe-Humor; .2801 mean (from 7-classes) Pearson's Correlations Coefficient for MuSe-Reaction, as well as .4931 Concordance Correlation Coefficient (CCC) and .4761 for valence and arousal in MuSe-Stress, respectively.

研究动机与目标

• 通过引入用于幽默、情感反应和压力的三个新且多样的数据集，推动多模态情感与情绪识别的发展。
• 应对当前情感计算中的挑战：自发幽默检测、细粒度情绪强度预测以及连续压力水平回归。
• 为真实世界非脚本化场景中音频、视频、文本和生理信号的多模态融合技术提供基准。
• 通过开放获取的数据和特征，支持音频-视觉情感识别、健康信息学和符号情感分析领域的研究。
• 通过深度学习和多模态特征融合，为未来方法开发建立透明且可复现的基线。

提出的方法

• 该挑战使用三个独立的数据集：用于幽默检测的Passau-SFCH，用于情感反应强度预测的Hume-Reaction，以及用于连续压力水平回归的Ulm-TSST。
• 使用开源工具从音频（eGeMAPS、DeepSpectrum）、视频（VGGface2、面部动作单元）、文本（BERT）和生理信号（BPM、ECG、RESP）中提取特征。
• 所有三个子挑战均采用具有LSTM单元的循环神经网络作为基线模型，以确保一致性和可比性。
• 采用晚期融合策略整合音频、视频和文本模态，分别训练单模态和多模态特征集的模型，以优化性能。
• 对于MuSe-Stress，将生理信号（EDA、ECG、RESP、BPM）作为输入，标签来源于MuSe-Physio 2021挑战赛以保持一致性。
• 基线模型在训练集上进行训练，并在开发集和测试集上进行评估，性能使用标准指标报告：AUC、皮尔逊相关系数（ρ）和组内一致性相关系数（CCC）。

实验结果

研究问题

• RQ1 多模态特征能否有效检测非脚本化足球新闻发布会中的自发幽默？
• RQ2 在对情感刺激的自录音视频反应中，能否准确预测细微的情感反应强度（如愉悦、恐惧、惊讶）？
• RQ3 在具有压力的社会情境中，能否利用多模态和生理信号准确预测连续的效价和唤醒水平？
• RQ4 在多模态情感与情绪识别任务中，哪种模态组合（音频、视频、文本、生理）能取得最强性能？
• RQ5 基线模型在具有不同噪声和质量的多样化真实录音条件下是否具有鲁棒性？

主要发现

• 在MuSe-Humor子挑战中，使用VGGface2特征的模型取得了0.8480的曲线下面积（AUC），表明在自发教练新闻发布会中检测幽默方面表现优异。
• 在MuSe-Reaction子挑战中，七种类别情感的平均皮尔逊相关系数（ρ）为0.2801，其中FAU特征表现出具有竞争力的性能。
• 在MuSe-Stress子挑战中，通过音频和文本特征的晚期融合，模型在唤醒度上的组内一致性相关系数（CCC）达到0.4931，在效价上的CCC为0.4761。
• 在MuSe-Stress中，音频与视频模态的晚期融合取得了最高性能（效价CCC = 0.6914），优于单一模态基线。
• 在MuSe-Stress中，使用生理信号（BPM、ECG、RESP）可提升基线性能，使用综合生理特征时，效价的CCC达到0.4361。
• 通过将原始数据、提取的特征和代码公开于公共存储库，实现了可复现性，并促进了未来多模态情感计算研究的发展。