[论文解读] Real-time emotion recognition for gaming using deep convolutional network features

Sébastien Ouellet|arXiv (Cornell University)|Aug 16, 2014

Emotion and Mood Recognition参考文献 12被引用 38

一句话总结

该论文提出了一种基于ImageNet预训练深度卷积神经网络（CNN）特征的实时游戏情绪识别系统，无需微调。通过从预训练CNN的第五和第六层提取特征，并使用支持向量机（SVM）在CK+数据集上进行分类，该方法仅使用每种情绪的一张静态图像即实现了94.4%的准确率，证明了其在情感计算游戏应用中具有出色的迁移能力与实时可行性。

ABSTRACT

The goal of the present study is to explore the application of deep convolutional network features to emotion recognition. Results indicate that they perform similarly to other published models at a best recognition rate of 94.4%, and do so with a single still image rather than a video stream. An implementation of an affective feedback game is also described, where a classifier using these features tracks the facial expressions of a player in real-time.

研究动机与目标

• 探究预训练深度CNN特征是否能在无需特定任务微调的情况下有效泛化至情绪识别任务。
• 开发一种基于面部情绪识别的实时情感反馈游戏系统。
• 评估从物体识别任务到面部情绪分类任务的迁移学习性能，使用CK+数据集进行验证。
• 评估人脸检测与图像预处理对情绪识别准确率的影响。
• 比较不同核函数类型（线性、多项式、RBF）在高维CNN特征上的表现。

提出的方法

• 利用在ImageNet上预训练的深度卷积神经网络（无需微调）从面部图像中提取特征。
• 从CNN的第五层和第六层提取高层特征，其输出维度分别为9126维和4096维。
• 在特征提取前使用Viola-Jones人脸检测器对人脸进行定位，以提高鲁棒性。
• 对所有图像进行灰度化处理以统一输入格式，相较于彩色输入可提升性能。
• 在提取的特征上使用线性、多项式和径向基函数（RBF）核训练支持向量机（SVM）分类器。
• 使用CK+数据集评估性能，聚焦于每段情绪序列的峰值帧，以最大化表情清晰度。

实验结果

研究问题

• RQ1 是否可以在不进行微调的情况下，利用来自物体识别任务的预训练深度CNN特征实现高精度的面部情绪识别？
• RQ2 引入人脸检测后，情绪识别性能如何变化，特别是在存在眼镜等遮挡物时？
• RQ3 在高维CNN特征上，哪种核函数类型（线性、多项式、RBF）在情绪分类任务中表现最佳？
• RQ4 不同情绪类别（如恐惧、悲伤）的性能水平有何差异，其潜在弱点的成因是什么？
• RQ5 单张静态图像是否能实现与基于视频的方法相当的性能，且是否足以满足实时游戏应用的需求？

主要发现

• 系统仅使用每段情绪序列的峰值帧即实现了94.4%的识别准确率，证明了在极简输入条件下的优异性能。
• 使用人脸检测显著提升了鲁棒性，尤其在佩戴眼镜的个体中，否则易导致误分类（如将目标情绪误判为厌恶）。
• 线性核在高维CNN特征上表现优于多项式核和RBF核，因为高维特征减少了对非线性变换的需求。
• 第五层特征（9126维）优于第六层特征（4096维），第七层因进一步降低性能而被排除。
• 恐惧（52%）和悲伤（60.7%）等情绪类别识别率较低，可能由于CK+数据集中此类情绪的训练样本较少。
• 该方法实现了与专用模型相当的最先进性能，且具备零微调和单图像输入的优势。