[论文解读] Transferring Rich Deep Features for Facial Beauty Prediction

Lu Xu, Jinhai Xiang+1 more|arXiv (Cornell University)|Mar 20, 2018

Face recognition and analysis参考文献 25被引用 25

一句话总结

该论文提出了一种迁移学习方法，利用预训练VGG网络中的丰富深度特征进行面部美感预测，融合多个卷积层的特征并应用贝叶斯岭回归。该方法在ECCV HotOrNot数据集上取得了最先进性能（皮尔逊相关系数为0.468），在SCUT-FBP数据集上也取得了相当的结果，证明了深度特征在美感感知任务中的有效性和可解释性。

ABSTRACT

Feature extraction plays a significant part in computer vision tasks. In this paper, we propose a method which transfers rich deep features from a pretrained model on face verification task and feeds the features into Bayesian ridge regression algorithm for facial beauty prediction. We leverage the deep neural networks that extracts more abstract features from stacked layers. Through simple but effective feature fusion strategy, our method achieves improved or comparable performance on SCUT-FBP dataset and ECCV HotOrNot dataset. Our experiments demonstrate the effectiveness of the proposed method and clarify the inner interpretability of facial beauty perception.

研究动机与目标

• 通过利用预训练模型中的丰富深度特征，而非手工设计的描述符，来提升面部美感预测性能。
• 研究迁移学习在基于面部验证模型的深度特征下，对面部美感感知的有效性。
• 通过一种新颖的多卷积层输出特征融合策略，增强特征表示能力。
• 通过可视化关键影响特征并分析预测误差，提供面部美感感知的可解释性。
• 评估预处理技术的影响，特别是面部对齐在预测性能中的作用。

提出的方法

• 从在面部验证任务上微调过的预训练VGG-16模型中迁移丰富的深度特征，以从面部图像中提取分层的、抽象的表示。
• 将conv5_2和conv5_3层的特征图进行拼接，形成更具信息量的高层特征向量。
• 通过展平拼接后的特征图，采用一种简单但有效的特征融合策略，作为回归模型的输入。
• 在融合后的深度特征上训练贝叶斯岭回归模型，以预测连续的面部美感评分。
• 实施两种预处理策略：方案A包括通过68个关键点检测进行面部对齐和旋转校正；方案B仅应用均值减法和标准差归一化。
• 使用误差度量 ε = |y^i − y^i| 分析预测偏差，识别误分类样本（ε ≥ 2.75）和拟合良好的样本（ε ≤ 0.02）。

实验结果

研究问题

• RQ1 从预训练面部验证模型迁移的深度特征是否能优于传统手工设计特征（如HOG、LBP）在面部美感预测中的表现？
• RQ2 跨多个卷积层的特征融合相较于使用单层特征，是否能显著提升性能？
• RQ3 面部对齐和预处理技术对模型预测准确率有何影响？
• RQ4 贝叶斯岭回归在建模深度特征与面部美感评分之间关系方面，其有效性如何？
• RQ5 通过特征可视化和误差分析，哪些面部属性或区域在美感感知中最具影响力？

主要发现

• 所提方法在ECCV HotOrNot数据集上实现了0.468的皮尔逊相关系数，优于所有对比的最先进方法，包括自编码器和多尺度模型。
• 方案B（无面部对齐）显著优于方案A（有对齐），在RMSE（0.9036 vs. 0.9466）、MAE（1.1343 vs. 1.1962）和PC（0.4679 vs. 0.3918）上表现更优，表明非面部上下文（如服装、姿势）对美感评分有显著影响。
• 模型在预测误差较小的样本上表现最佳（ε ≤ 0.02），表明其对高分面部具有强大的拟合能力；而高误差样本（ε ≥ 2.75）则揭示了模型在捕捉复杂或模糊美感感知方面的局限性。
• 消融实验表明，从conv5_2和conv5_3层融合特征可提升表示质量，并在性能上优于单层特征。
• 预测误差的可视化显示，姿势、面部表情和非面部属性显著影响美感感知，而模型在缺乏正确对齐的情况下难以捕捉这些因素。
• 贝叶斯岭回归的使用实现了低方差的稳健回归，且模型在无需大量微调的情况下在不同数据集上表现出良好的泛化能力。