[论文解读] Personalized Image Aesthetics Assessment with Rich Attributes

Yuzhe Yang, Liwu Xu+5 more|arXiv (Cornell University)|Mar 31, 2022

Olfactory and Sensory Function Studies被引用 4

一句话总结

本文提出了 PARA，一个大规模个性化图像美学评估数据库，包含 31,220 幅图像，由 438 名受试者进行标注，涵盖 9 项图像导向的客观属性和 4 项人类导向的主观属性。该研究提出了一种基于受试者特征作为先验知识的条件化 PIAA 模型，在性能上优于基线模型，从而通过丰富多样的标注实现了对个性化美学偏好的更准确建模。

ABSTRACT

Personalized image aesthetics assessment (PIAA) is challenging due to its highly subjective nature. People's aesthetic tastes depend on diversified factors, including image characteristics and subject characters. The existing PIAA databases are limited in terms of annotation diversity, especially the subject aspect, which can no longer meet the increasing demands of PIAA research. To solve the dilemma, we conduct so far, the most comprehensive subjective study of personalized image aesthetics and introduce a new Personalized image Aesthetics database with Rich Attributes (PARA), which consists of 31,220 images with annotations by 438 subjects. PARA features wealthy annotations, including 9 image-oriented objective attributes and 4 human-oriented subjective attributes. In addition, desensitized subject information, such as personality traits, is also provided to support study of PIAA and user portraits. A comprehensive analysis of the annotation data is provided and statistic study indicates that the aesthetic preferences can be mirrored by proposed subjective attributes. We also propose a conditional PIAA model by utilizing subject information as conditional prior. Experimental results indicate that the conditional PIAA model can outperform the control group, which is also the first attempt to demonstrate how image aesthetics and subject characters interact to produce the intricate personalized tastes on image aesthetics. We believe the database and the associated analysis would be useful for conducting next-generation PIAA study. The project page of PARA can be found at: https://cv-datasets.institutecv.com/#/data-sets.

研究动机与目标

• 为解决现有个性化图像美学评估（PIAA）数据库中注释多样性有限的问题，特别是捕捉受试者层面主观属性的不足。
• 建立一个全面、大规模的 PIAA 数据库，同时捕捉图像层面的客观属性和人类层面的主观属性，以反映个性化的美学偏好。
• 通过去标识化的受试者信息，实现对用户特征（如人格、经验）与美学判断之间关系的深入分析。
• 开发并验证一种利用受试者属性作为先验知识的条件化 PIAA 模型，以提升个性化美学预测性能。
• 为下一代 PIAA 研究提供基准和基础数据集，支持多样化的建模方法。

提出的方法

• 作者收集了 31,220 幅图像，由 438 名受试者进行标注，每幅图像在 13 个维度上平均获得 25.87 次标注：包括 9 项客观图像属性（如构图、色彩、光线）和 4 项主观人类属性（如内容偏好、情绪、分享意愿）。
• 收集了去标识化的受试者信息，包括年龄、性别、教育程度、人格特质以及艺术/摄影经验，以支持用户画像与偏好建模。
• 提出了一种条件化 PIAA 模型，通过将受试者属性与深度神经网络主干网络（如 ResNet-50）的最后层特征拼接，将其作为条件先验。
• 在每个受试者的 10-shot 和 100-shot 支持集上进行微调，使用 SROCC 和 PLCC 指标在查询集上评估性能。
• 在 40 名随机选择的测试受试者上采用 10 折交叉验证策略，结果在 10 次随机数据划分上取平均，以确保结果稳健性。
• 所提方法将带受试者先验的条件化 PIAA（条件模型）与无先验的无条件 PIAA（基线模型）进行对比，采用相同的主干网络和训练协议。

实验结果

研究问题

• RQ1 以内容偏好、情绪和分享意愿为代表的人类导向主观属性，能否有效反映个性化美学偏好？
• RQ2 人格特质、艺术经验及摄影经验等受试者特征在多大程度上影响图像美学判断？
• RQ3 在深度学习模型中引入受试者属性作为条件先验，是否能提升个性化图像美学预测性能，优于基线模型？
• RQ4 个性化数据量（10-shot 与 100-shot）如何影响微调后 PIAA 模型的性能？
• RQ5 所提出的 PARA 数据库能否作为评估下一代 PIAA 模型的可靠基准？

主要发现

• 使用人格特质作为先验的条件化 PIAA 模型在 ResNet-50 上达到 PLCC 0.7509 和 SROCC 0.7384，优于无条件基线模型（PLCC：0.7419，SROCC：0.7329）。
• 人格特质条件化模型达到 PLCC 0.7509 和 SROCC 0.7384，相比无条件基线模型，PLCC 提升 0.009，SROCC 提升 0.0055。
• 以艺术经验作为先验的条件化模型达到 PLCC 0.7447 和 SROCC 0.7326，表现出相对于无条件组的一致性改进。
• 主干网络消融实验表明，Swin-Tiny 和 Swin-Small 在 PARA 基准上分别实现最佳 GIAA 性能，PLCC 达到 0.9331 和 0.9355。
• 在 100-shot 数据上微调的性能始终优于 10-shot 数据，表明更多个性化数据有助于提升模型泛化能力。
• 统计分析证实，情绪、内容偏好和分享意愿等主观属性与美学判断显著相关，验证了其作为偏好镜像的有效性。