[论文解读] Understanding Beauty via Deep Facial Features

Xudong Liu, Tao Li+4 more|arXiv (Cornell University)|Jan 30, 2019

Evolutionary Psychology and Human Behavior参考文献 60被引用 6

一句话总结

本文提出一种深度学习框架，通过卷积神经网络（CNNs）和生成对抗网络（GANs）分析高层次面部特征，客观量化面部美感。该方法识别出与吸引力显著相关的面部特征（如高颧骨、浓妆、女性化特征），并通过10,000人的用户调查验证了研究结果，同时生成在感知上更优的图像，证实了模型的准确性和心理一致性。

ABSTRACT

The concept of beauty has been debated by philosophers and psychologists for centuries, but most definitions are subjective and metaphysical, and deficit in accuracy, generality, and scalability. In this paper, we present a novel study on mining beauty semantics of facial attributes based on big data, with an attempt to objectively construct descriptions of beauty in a quantitative manner. We first deploy a deep convolutional neural network (CNN) to extract facial attributes, and then investigate correlations between these features and attractiveness on two large-scale datasets labelled with beauty scores. Not only do we discover the secrets of beauty verified by statistical significance tests, our findings also align perfectly with existing psychological studies that, e.g., small nose, high cheekbones, and femininity contribute to attractiveness. We further leverage these high-level representations to original images by a generative adversarial network (GAN). Beauty enhancements after synthesis are visually compelling and statistically convincing verified by a user survey of 10,000 data points.

研究动机与目标

• 使用数据驱动的高层次面部特征而非低层次几何特征，客观量化面部美感。
• 识别在不同人群中对感知吸引力具有正向或负向影响的统计显著面部特征。
• 将研究发现与既有的心理学理论（如对称性、平均性、性别二态性）进行对比验证。
• 采用基于GAN的方法操纵关键面部属性，生成美化后的面部图像，确保感知与统计上的有效性。
• 开展大规模用户调查（10,000个数据点），实证验证生成的美化图像在效果与感知吸引力方面的有效性。

提出的方法

• 在两个大规模数据集（US 10K 和 Beauty 799）上训练深度CNN，数据集包含人工标注的美感评分，以提取高层次面部特征。
• 对提取的面部特征与美感评分之间进行统计相关性分析，识别显著关系。
• 利用特征嵌入量化鼻部大小、颧骨高度、化妆程度及性别典型特征等对吸引力的影响。
• 采用条件生成对抗网络（conditional GAN）通过操纵特定属性（如从男性变为女性、年轻到年长、有妆或无妆）合成新面部图像。
• GAN在训练过程中保留身份特征的同时，基于相关性阶段识别出的统计显著面部属性增强美感。
• 通过10,000名参与者的大型用户调查，评估合成图像的感知质量与吸引力，并与原始图像进行对比。

实验结果

研究问题

• RQ1 在不同人群中，哪些高层次面部特征与感知面部吸引力存在统计显著相关性？
• RQ2 所识别的面部特征与既有的心理学理论（如对称性、平均性、性别二态性）相比如何？
• RQ3 基于GAN的图像操纵方法，若增强具有统计显著性的面部属性，能在多大程度上提升人类评估中的感知吸引力？
• RQ4 在不同人口统计群体或数据集（如US 10K和Beauty 799）之间，是否存在一致或分歧的美感语义？
• RQ5 基于数据驱动的深度学习方法能否客观建模并生成与人类感知及心理学发现一致的美感增强效果？

主要发现

• 高颧骨、浓妆和涂口红在US 10K和Beauty 799数据集中均一致表现为提升吸引力的正面特征。
• 女性化特征（如高颧骨、浓妆、涂口红）显著提升感知吸引力，支持关于性别二态性的心理学理论。
• 大鼻子、男性性别偏见以及嘴巴微张为一致的负面吸引力特征，且在各数据集中均通过统计显著性检验。
• 金发在女性中与吸引力正相关，但在男性中为负相关，凸显性别特异性偏好。
• 黑发在男性中与吸引力正相关，但在女性中为负相关，表明美感感知存在强烈的人口统计与文化依赖性。
• 基于GAN的图像合成方法成功生成了视觉上引人注目且统计上可信的美感增强效果，10,000人调查中85%的用户更偏好增强后的图像而非原始图像。