[论文解读] Multi-task convolutional neural network for image aesthetic assessment

Derya Soydaner, Johan Wagemans|arXiv (Cornell University)|May 16, 2023

Visual Attention and Saliency Detection被引用 4

一句话总结

本文提出一种多任务卷积神经网络，通过共享表征联合预测整体图像美学评分和多个美学属性（例如构图、景深、语义等）。该模型在AA DB基准上实现了最先进性能，接近人类的Spearman等级相关系数（ρ = 0.707），并在EVA数据集上建立了新基线，优于先前方法，同时参数量更少。

ABSTRACT

As people's aesthetic preferences for images are far from understood, image aesthetic assessment is a challenging artificial intelligence task. The range of factors underlying this task is almost unlimited, but we know that some aesthetic attributes affect those preferences. In this study, we present a multi-task convolutional neural network that takes into account these attributes. The proposed neural network jointly learns the attributes along with the overall aesthetic scores of images. This multi-task learning framework allows for effective generalization through the utilization of shared representations. Our experiments demonstrate that the proposed method outperforms the state-of-the-art approaches in predicting overall aesthetic scores for images in one benchmark of image aesthetics. We achieve near-human performance in terms of overall aesthetic scores when considering the Spearman's rank correlations. Moreover, our model pioneers the application of multi-tasking in another benchmark, serving as a new baseline for future research. Notably, our approach achieves this performance while using fewer parameters compared to existing multi-task neural networks in the literature, and consequently makes our method more efficient in terms of computational complexity.

研究动机与目标

• 开发一种深度学习模型，通过联合学习整体美学评分和关键美学属性，提升图像美学评估性能。
• 通过共享表征的多任务学习方法，解决主观且多因素的美学偏好挑战。
• 在两个主要基准（AA DB和EVA）上评估模型的性能与泛化能力。
• 证明多任务学习相比单任务方法在性能与效率方面更具优势。
• 建立一种参数复杂度更低的美学评分预测新最先进方法。

提出的方法

• 模型使用共享的卷积主干网络，从输入的RGB图像中提取分层特征。
• 采用多个任务特定的头网络，用于预测整体美学评分和K个独立的美学属性评分。
• 损失函数结合均方误差，用于所有回归任务，实现对整体评分与属性评分的联合优化。
• 使用Grad-CAM可视化特征图，以解释模型注意力，识别影响预测的关键图像区域。
• 在包含图像-属性和图像-美学评分标注的配对数据上端到端训练该架构。
• 通过跨数据集评估评估泛化能力，即在一个数据集上训练，在另一个数据集上测试。

实验结果

研究问题

• RQ1 能否通过联合学习美学属性与整体评分的多任务CNN提升图像美学评估性能？
• RQ2 与单任务学习相比，多任务学习在预测准确率与参数效率方面表现如何？
• RQ3 该模型是否能在不同图像美学基准（如AA DB和EVA）之间实现良好泛化？
• RQ4 预测的属性评分在等级相关性方面与人工标注评分的对齐程度如何？
• RQ5 该模型能否在保持低计算复杂度的同时实现接近人类水平的美学预测性能？

主要发现

• 所提出的多任务CNN在AA DB测试集上达到Spearman等级相关系数ρ = 0.707，创下新最先进结果。
• 在EVA数据集上，当在EVA上训练并在AA DB上测试时，模型达到ρ = 0.695的跨数据集评估相关系数，优于反向场景（ρ = 0.441）。
• 模型在构图和景深属性上达到最高相关系数（ρ = 0.97），与EVA数据集上人工标注的相关性高度一致。
• 与先前的多任务方法相比，该模型以更少的参数实现更优性能，支持深度学习中的奥卡姆剃刀原则。
• 在两个数据集上，多任务设置均持续优于单任务基线，证实共享表征学习的优势。
• Grad-CAM可视化结果表明，模型在美学判断中聚焦于语义相关的图像区域，如构图与主体位置。