[论文解读] Spatiotemporal Networks for Video Emotion Recognition

Lijie Fan, Yunjie Ke|arXiv (Cornell University)|Apr 3, 2017

Video Surveillance and Tracking Methods被引用 3

一句话总结

本文提出了一种时空深度学习框架，结合CNN-LSTM进行视频特征提取，并采用传统SVM方法实现多模态融合，在AFEW 6.0数据集上实现了优异的视频情感识别性能，有效整合了视觉与音频模态。

ABSTRACT

Our experiment adapts several popular deep learning methods as well as some traditional methods on the problem of video emotion recognition. In our experiment, we use the CNN-LSTM architecture for visual information extraction and classification and utilize traditional methods such as for audio feature classification. For multimodal fusion, we use the traditional Support Vector Machine. Our experiment yields a good result on the AFEW 6.0 Dataset.

研究动机与目标

• 研究深度学习与传统机器学习方法在视频情感识别中的有效性。
• 设计一种时空架构，以捕捉视频序列中的空间面部特征与时间动态。
• 评估使用SVM等传统方法对视觉与音频特征进行多模态融合的效果。
• 在AFEW 6.0数据集上进行性能基准测试，该数据集是面部情感识别的标准基准。

提出的方法

• 视觉模态通过CNN-LSTM架构处理，以从视频帧中提取时空特征。
• 音频特征被提取并使用传统机器学习方法进行分类。
• 通过支持向量机（SVM）执行多模态融合，以结合视觉与音频预测结果。
• 该模型在AFEW 6.0数据集上进行训练与评估，该数据集包含多样化的视频形式面部表情。
• 该方法结合了深度学习在特征学习方面的优势与传统方法在鲁棒融合方面的优势。

实验结果

研究问题

• RQ1 CNN-LSTM与传统方法结合用于视频情感识别时，性能表现如何？
• RQ2 基于SVM的融合是否能有效整合视觉与音频特征，从而提升识别准确率？
• RQ3 该混合方法在AFEW 6.0基准数据集上的性能如何？
• RQ4 由CNN-LSTM提取的时空特征如何促进情感分类？

主要发现

• 所提出的基于CNN-LSTM与SVM的融合模型在AFEW 6.0数据集上表现优异。
• 通过SVM融合实现的视觉与音频模态整合，显著提升了识别准确率，优于单模态方法。
• CNN-LSTM架构能有效捕捉视频序列中面部表情的时间动态。
• 当与深度学习特征结合时，SVM等传统方法在多模态融合中依然表现高效。