[论文解读] Pre-Trained Convolutional Neural Network Features for Facial Expression Recognition

Aravind Ravi|arXiv (Cornell University)|Dec 16, 2018

Face and Expression Recognition参考文献 7被引用 9

一句话总结

本文提出使用预训练的VGG19卷积神经网络特征进行面部表情识别，将浅层特征迁移至线性SVM分类器。在CK+和JAFFE数据集上，分别实现了92.86%和92.26%的准确率，表明ImageNet预训练特征，尤其是浅层特征，能有效迁移至小规模面部表情数据集。

ABSTRACT

Facial expression recognition has been an active area in computer vision with application areas including animation, social robots, personalized banking, etc. In this study, we explore the problem of image classification for detecting facial expressions based on features extracted from pre-trained convolutional neural networks trained on ImageNet database. Features are extracted and transferred to a Linear Support Vector Machine for classification. All experiments are performed on two publicly available datasets such as JAFFE and CK+ database. The results show that representations learned from pre-trained networks for a task such as object recognition can be transferred, and used for facial expression recognition. Furthermore, for a small dataset, using features from earlier layers of the VGG19 network provides better classification accuracy. Accuracies of 92.26% and 92.86% were achieved for the CK+ and JAFFE datasets respectively.

研究动机与目标

• 研究ImageNet预训练CNN特征向面部表情识别任务的可迁移性。
• 评估不同VGG19网络层在低数据场景下的特征提取性能。
• 比较浅层与深层网络层在表情分类中的有效性。
• 确定微调是否必要，或仅使用特征迁移即可实现高准确率。

提出的方法

• 使用在ImageNet上预训练的VGG19模型权重，从面部图像中提取特征。
• 从VGG19网络的多个层中提取特征，尤其关注浅层卷积层。
• 将提取的特征展平后输入线性支持向量机（SVM）进行分类。
• 在两个公开的面部表情数据集（CK+和JAFFE）上训练并评估SVM模型。
• 采用交叉验证以确保在不同数据划分下性能估计的稳健性。
• 在两个数据集上均使用标准准确率指标对模型进行评估。

实验结果

研究问题

• RQ1 在不进行微调的情况下，ImageNet预训练CNN的特征是否能有效识别面部表情？
• RQ2 预训练的VGG19网络中哪些层能为面部表情识别提供最具判别性的特征？
• RQ3 在小规模面部表情数据集上，使用网络的浅层是否能提升性能？
• RQ4 从通用物体识别任务迁移特征，与在表情特定数据上端到端训练相比，效果如何？

主要发现

• 在JAFFE数据集上，使用VGG19网络浅层特征的模型实现了92.86%的分类准确率。
• 在CK+数据集上，模型达到92.26%的准确率，表明其在小数据集上具有强大的泛化能力。
• VGG19的早期层特征优于深层特征，尤其在低数据场景下表现更优。
• 仅使用预训练特征而无需微调即获得具有竞争力的性能，表明其具有强大的可迁移性。
• 线性SVM分类器有效利用了CNN提供的高层表示进行表情分类。
• 结果证实，使用预训练特征进行迁移学习是面部表情识别的一种可行且高效的方法。