[论文解读] Predicting Aesthetic Score Distribution through Cumulative Jensen-Shannon Divergence

Xin Jin, Le Wu+7 more|arXiv (Cornell University)|Aug 23, 2017

Visual Attention and Saliency Detection参考文献 42被引用 6

一句话总结

本文提出CJS-CNN，一种深度学习模型，通过使用累积Jensen-Shannon散度作为损失函数，预测人类审美评分（1–10）的完整分布，从而实现对主观图像美学更细致的建模。该方法通过引入基于尖峰度的可靠性敏感学习策略，相较于标量或二值化表示，提升了性能，在AVA数据集上达到了最先进水平。

ABSTRACT

Aesthetic quality prediction is a challenging task in the computer vision community because of the complex interplay with semantic contents and photographic technologies. Recent studies on the powerful deep learning based aesthetic quality assessment usually use a binary high-low label or a numerical score to represent the aesthetic quality. However the scalar representation cannot describe well the underlying varieties of the human perception of aesthetics. In this work, we propose to predict the aesthetic score distribution (i.e., a score distribution vector of the ordinal basic human ratings) using Deep Convolutional Neural Network (DCNN). Conventional DCNNs which aim to minimize the difference between the predicted scalar numbers or vectors and the ground truth cannot be directly used for the ordinal basic rating distribution. Thus, a novel CNN based on the Cumulative distribution with Jensen-Shannon divergence (CJS-CNN) is presented to predict the aesthetic score distribution of human ratings, with a new reliability-sensitive learning method based on the kurtosis of the score distribution, which eliminates the requirement of the original full data of human ratings (without normalization). Experimental results on large scale aesthetic dataset demonstrate the effectiveness of our introduced CJS-CNN in this task.

研究动机与目标

• 为解决标量或二值化表示在美学质量评估中的局限性，这些表示无法捕捉人类评分的主观性和变异性。
• 建模人类审美评分（1–10）的完整分布，而非仅一个均值或二值标签。
• 通过引入基于可靠性的学习策略，开发一种对不可靠或稀疏评分数据具有鲁棒性的深度学习框架。
• 通过引入如尖峰度等统计特性，反映人类评分的一致性与多样性，从而改进主观图像美学的建模。

提出的方法

• CJS-CNN模型使用深度卷积神经网络预测完整的审美评分分布（即10个评分1–10的概率向量）。
• 采用累积Jensen-Shannon散度（CJS）作为损失函数，以衡量预测与真实累积评分分布之间的差异。
• 引入一种可靠性敏感的学习策略，其中损失根据评分分布的尖峰度计算出的可靠性因子进行加权，以降低噪声或不可靠样本的影响。
• 可靠性因子直接从归一化的评分直方图计算得出，避免依赖于评分数量等外部元数据。
• 使用带有可靠性加权的CJS损失端到端训练模型，从而在评分分布不平衡或偏斜时实现更好的泛化能力。
• 在大规模AVA数据集上评估该方法，并通过消融研究比较基于尖峰度的可靠性与基于评分数量的替代方案。

实验结果

研究问题

• RQ1 与标量或二值化表示相比，建模人类审美评分的完整分布是否能提升美学质量评估的性能？
• RQ2 累积Jensen-Shannon散度损失在建模有序评分分布方面，与其它散度度量相比表现如何？
• RQ3 基于尖峰度的可靠性敏感学习策略是否能提升模型对噪声或稀疏评分数据的鲁棒性？
• RQ4 尖峰度能否作为评分流行度或共识的可靠代理，从而在训练中替代原始评分数量？

主要发现

• 所提出的CJS-CNN模型在多个评估指标上均达到最先进性能，测试集上的平均散度最小。
• 基于尖峰度的可靠性敏感学习策略持续提升性能，优于基线CJS损失和基于评分数量的可靠性因子。
• 基于尖峰度的可靠性因子表现略优于基于评分数量的因子，且与之组合无额外增益，表明其有效性及对额外元数据的独立性。
• 该模型在各种评分分布（包括偏斜和非高斯分布）下表现稳健，CJS损失特别适用于经验性有序数据。
• 结果证实，建模完整评分分布能比基于均值或二值分类的方法更细致地捕捉人类审美感知的复杂特征。
• 消融研究显示，带有尖峰度加权的CJS损失导致整体散度最低，验证了该方法设计选择的有效性。