[论文解读] Multimodal Video-based Apparent Personality Recognition Using Long Short-Term Memory and Convolutional Neural Networks

Süleyman Aslan, Uğur Güdükbay|arXiv (Cornell University)|Nov 1, 2019

Personality Traits and Psychology被引用 14

一句话总结

该论文提出了一种多模态深度学习框架，通过模态特定的卷积神经网络（CNNs）和长短期记忆（LSTM）网络，融合面部、环境、音频和转录特征，从视频中识别外显的大五人格特质。两阶段训练过程——首先独立预训练各模态子网络，然后微调完整模型——在ChaLearn First Impressions V2数据集上实现了0.9188的最先进平均准确率。

ABSTRACT

Personality computing and affective computing, where the recognition of personality traits is essential, have gained increasing interest and attention in many research areas recently. We propose a novel approach to recognize the Big Five personality traits of people from videos. Personality and emotion affect the speaking style, facial expressions, body movements, and linguistic factors in social contexts, and they are affected by environmental elements. We develop a multimodal system to recognize apparent personality based on various modalities such as the face, environment, audio, and transcription features. We use modality-specific neural networks that learn to recognize the traits independently and we obtain a final prediction of apparent personality with a feature-level fusion of these networks. We employ pre-trained deep convolutional neural networks such as ResNet and VGGish networks to extract high-level features and Long Short-Term Memory networks to integrate temporal information. We train the large model consisting of modality-specific subnetworks using a two-stage training process. We first train the subnetworks separately and then fine-tune the overall model using these trained networks. We evaluate the proposed method using ChaLearn First Impressions V2 challenge dataset. Our approach obtains the best overall "mean accuracy" score, averaged over five personality traits, compared to the state-of-the-art.

研究动机与目标

• 开发一种鲁棒的多模态框架，用于从视频数据中识别外显人格特质。
• 解决将面部表情、环境、音频和语音转录等多样化模态整合到统一人格识别系统中的挑战。
• 通过使用LSTM网络建模视频序列中的时序动态，提升性能。
• 通过两阶段训练策略优化模态间特征融合，以提升准确率。
• 在ChaLearn First Impressions V2基准数据集上实现最先进性能。

提出的方法

• 采用模态特定的深度神经网络：使用ResNet-v2-101提取面部和环境特征，使用VGGish提取音频特征，使用ELMo嵌入提取转录特征。
• 使用六层LSTM建模面部和环境特征的时序依赖性，使用三层全连接层处理转录特征。
• 采用两阶段训练过程：首先独立预训练每个模态子网络；其次，通过特征级融合微调整个模型。
• 通过拼接来自面部和环境子网络的80维特征，以及来自音频和转录子网络的20维特征，实现特征级融合。
• 通过将LSTM单元输出连接到最终层输出，引入残差RNN结构，以增强梯度流动和学习稳定性。
• 利用预训练模型（ResNet、VGGish、ELMo）在融合和最终预测之前提取高层语义丰富的表征。

实验结果

研究问题

• RQ1 多模态深度学习框架能否有效利用面部、环境、音频和文本特征，从视频中识别外显的大五人格特质？
• RQ2 通过LSTM整合时序信息，相较于静态特征提取，能否显著提升人格识别性能？
• RQ3 各模态（面部、环境、音频、转录）对最终人格预测性能的相对贡献如何？
• RQ4 两阶段训练策略（先预训练子网络，再端到端微调）是否优于联合训练？
• RQ5 模态特定表征的特征级融合是否优于单模态或简单早期/晚期融合方法？

主要发现

• 所提模型在ChaLearn First Impressions V2数据集验证集上实现了0.9188的平均准确率，优于所有先前的最先进方法。
• 仅基于面部特征的子网络表现最佳，其次是环境、音频和转录子网络。
• 环境与音频特征的多模态融合优于单模态基线，证明了跨模态学习的优势。
• 在环境-音频模型中加入面部和转录特征后，准确率进一步提升，证实了四种模态之间的互补性。
• 结合残差RNN连接和微调预训练网络的四特征融合最终模型实现了最佳整体性能。
• 该模型在五个性格特质中的四个（尽责性、外向性、宜人性、神经质）上表现优异，而在开放性上的表现略低于最佳基线。