[论文解读] The Beauty of Capturing Faces: Rating the Quality of Digital Portraits

Мириам Реди, Nikhil Rasiwasia+2 more|arXiv (Cornell University)|Jan 28, 2015

Visual Attention and Saliency Detection参考文献 29被引用 4

一句话总结

本文提出了一种针对人像的自动美学评估框架，基于包含10,000多张数字拍摄人像的大型数据集，该数据集附带美学评分和人物人口统计信息（如年龄、性别、种族）。该框架引入了基于人像摄影原则的新型视觉特征，表明图像质量、照明、关键点清晰度和原创性是美学的强有力预测因子，其准确率比通用美学分类器高出16%以上。

ABSTRACT

Digital portrait photographs are everywhere, and while the number of face pictures keeps growing, not much work has been done to on automatic portrait beauty assessment. In this paper, we design a specific framework to automatically evaluate the beauty of digital portraits. To this end, we procure a large dataset of face images annotated not only with aesthetic scores but also with information about the traits of the subject portrayed. We design a set of visual features based on portrait photography literature, and extensively analyze their relation with portrait beauty, exposing interesting findings about what makes a portrait beautiful. We find that the beauty of a portrait is linked to its artistic value, and independent from age, race and gender of the subject. We also show that a classifier trained with our features to separate beautiful portraits from non-beautiful portraits outperforms generic aesthetic classifiers.

研究动机与目标

• 为解决尽管数字媒体中人像普遍存在，但缺乏针对人像美学评估的计算框架这一问题。
• 构建一个大规模、多样化的数字人像数据集，包含美学评分和人物人口统计信息（年龄、性别、种族）。
• 设计并验证一组基于摄影文献的人像特定视觉特征，重点关注构图、照明、情感表达和原创性。
• 开发一个分类模型，将人像判断为美学上优美或不优美，其表现优于通用美学分类器。
• 通过实证分析，探究哪些视觉和构图因素与感知的人像美学美感最强相关。

提出的方法

• 作者从AVA数据集中收集并整理了超过10,000张人像，利用面部分析技术对这些图像进行了美学评分和人物人口统计信息的标注。
• 基于人像摄影文献，设计了一套全面的12种视觉特征，包括图像对比度、曝光度、面部关键点清晰度、照明模式和可记忆性。
• 通过统计相关性和在多个特征子集上的分类性能分析，评估了各特征的重要性。
• 使用标准化特征，通过10折交叉验证训练了一个带有RBF核的SVM分类器，性能通过准确率和F1得分进行评估。
• 该框架采用了多组特征（如构图、照明、情感）的早期融合策略，以提高分类的鲁棒性。
• 消融研究将人像特定特征与通用构图特征的性能进行了比较，使用相同的训练和测试划分以确保公平对比。

实验结果

研究问题

• RQ1 从人像摄影原则中提取的哪些视觉特征与感知的人像美学美感相关性最强？
• RQ2 年龄、性别和种族等人口统计因素在多大程度上与人像的美学质量相关？
• RQ3 基于人像特定的美学分类器是否能优于在多样化图像类别上训练的通用美学分类器？
• RQ4 图像质量度量（如对比度、曝光度和关键点清晰度）如何影响人像美学美感的感知？
• RQ5 引入原创性和可记忆性特征是否能提高人像美学分类的准确性？

主要发现

• 人像的美学质量在很大程度上与被摄者的年龄、性别和种族无关，这些人口统计因素与美学评分的相关性极低或无相关性。
• 人像美学与技术图像质量密切相关，面部关键点的清晰度、适当的曝光度和高对比度是高美学评分的重要预测因子。
• 照明模式、图像一致性以及原创性被发现是关键的区分性特征，其中原创性对感知美感有显著贡献。
• 所提出的专用人像特征集在大规模数据集上实现了64.24% ± 1.76%的分类准确率，比通用美学分类器高出16个百分点以上。
• 特征选择提升了性能，通过早期融合整合所有特征的方案取得了最佳结果，证实了不同视觉线索之间的互补性。
• 剔除模糊图像（使用δ = 0.5）并未提升准确率，表明此类图像无助于模型学习，可被排除以减少训练时间。