[论文解读] VEGAC: Visual Saliency-based Age, Gender, and Facial Expression Classification Using Convolutional Neural Networks.

Ayesha Gurnani, Vandit Gajjar+2 more|arXiv (Cornell University)|Mar 13, 2018

Face recognition and analysis被引用 7

一句话总结

VEGAC 提出了一种基于视觉显著性与微调 VGG-16 卷积神经网络的多任务面部属性分类方法，采用多基准数据集进行训练。通过从裁剪的人脸中提取显著性感知特征，该方法在年龄估计、性别分类和面部表情识别任务中均取得了具有竞争力的性能。

ABSTRACT

This paper explores the use of Visual Saliency to Classify Age, Gender and Facial Expression for Facial Images. For multi-task classification, we propose our method VEGAC, which is based on Visual Saliency. Using the Deep Multi-level Network [1] and off-the-shelf face detector [2], our proposed method first detects the face in the test image and extracts the CNN predictions on the cropped face. The CNN of VEGAC were fine-tuned on the collected dataset from different benchmarks. Our convolutional neural network (CNN) uses the VGG-16 architecture [3] and is pre-trained on ImageNet for image classification. We demonstrate the usefulness of our method for Age Estimation, Gender Classification, and Facial Expression Classification. We show that we obtain the competitive result with our method on selected benchmarks. All our models and code will be publically available.

研究动机与目标

• 开发一种统一的深度学习框架，用于通过视觉显著性实现年龄、性别和面部表情的联合分类。
• 通过将基于显著性的特征选择与预训练的卷积神经网络相结合，提升多任务面部属性识别性能。
• 通过微调 VGG-16 架构，在基准数据集上实现最先进性能。
• 通过公开发布训练好的模型与源代码，实现实际部署。

提出的方法

• 使用现成的面部检测器对输入图像中的面部进行定位。
• 将裁剪出的面部区域输入在 ImageNet 上预训练的 VGG-16 卷积神经网络架构，以实现迁移学习。
• 在结合多个公开基准数据集的收集数据集上对卷积神经网络进行微调，以支持多任务学习。
• 利用视觉显著性图引导特征提取与分类，增强模型对相关面部区域的关注。
• 利用深度多层级网络的多层次特征，提升在年龄、性别和表情任务中的表征学习能力。
• 采用共享主干网络与任务特定头结构，实现所有三项分类任务的联合优化。

实验结果

研究问题

• RQ1 视觉显著性能否提升多任务面部属性分类的性能？
• RQ2 在多基准数据集上对预训练的 VGG-16 模型进行微调，对年龄、性别和表情分类准确率有何影响？
• RQ3 基于显著性的特征提取在多大程度上提升了模型的鲁棒性与泛化能力？
• RQ4 所提出的 VEGAC 框架与现有最先进方法相比是否取得了具有竞争力的结果？

主要发现

• VEGAC 在基准数据集上对年龄估计、性别分类和面部表情识别任务均取得了具有竞争力的性能。
• 在多基准数据集上对 VGG-16 模型进行微调，提升了所有三项面部属性分类任务的泛化能力。
• 视觉显著性的整合通过聚焦于具有判别性的面部区域，增强了特征学习。
• 所提出的方法在无需任务特定架构的情况下，对多种面部属性表现出优异性能。
• 所有训练好的模型与源代码均已公开，以支持可复现性与进一步研究。