[论文解读] Quantitative Analysis of Automatic Image Cropping Algorithms: A Dataset and Comparative Study

Yi‐Ling Chen, Tzu-Wei Huang+4 more|arXiv (Cornell University)|Jan 5, 2017

Visual Attention and Saliency Detection被引用 8

一句话总结

本文提出了一项新的基准数据集，包含1,743张图像和31,430组成对的图像裁剪偏好标注，用于评估自动图像裁剪中的学习排序算法与传统的显著性及美学方法。主要发现是，基于排序的方法显著优于传统方法，在使用DeCAF7特征时，新数据集上的重叠准确率达到66.43%，表明成对子视图排序在高质量裁剪中至关重要。

ABSTRACT

Automatic photo cropping is an important tool for improving visual quality of digital photos without resorting to tedious manual selection. Traditionally, photo cropping is accomplished by determining the best proposal window through visual quality assessment or saliency detection. In essence, the performance of an image cropper highly depends on the ability to correctly rank a number of visually similar proposal windows. Despite the ranking nature of automatic photo cropping, little attention has been paid to learning-to-rank algorithms in tackling such a problem. In this work, we conduct an extensive study on traditional approaches as well as ranking-based croppers trained on various image features. In addition, a new dataset consisting of high quality cropping and pairwise ranking annotations is presented to evaluate the performance of various baselines. The experimental results on the new dataset provide useful insights into the design of better photo cropping algorithms.

研究动机与目标

• 通过创建一个高质量、大规模的基准数据集，并附带成对偏好标注，解决自动图像裁剪缺乏标准化评估的问题。
• 探究此前在图像裁剪中较少被使用的排序学习算法是否能超越传统的显著性与美学方法。
• 评估各种图像特征（如DeCAF7、SIFT-FV、Color-FV）在裁剪子视图排序中的有效性。
• 验证基于排序的模型在不同数据集和标注方案下的泛化能力。
• 为通过更优的特征学习与裁剪选择策略改进图像裁剪提供洞见。

提出的方法

• 构建了一个新的图像裁剪数据集，包含1,743张图像，包含人工标注的最佳裁剪窗口以及通过严谨众包流程获得的31,430组成对子视图偏好标注。
• 采用滑动窗口方法生成候选裁剪窗口，并使用重叠（IoU）和位移（Disp）度量标准评估准确性。
• 使用从DeCAF7、SIFT-FV和Color-FV表示中提取的特征，通过成对排序损失训练多种学习排序模型。
• 在新数据集和现有[37]数据集上评估模型性能，以分析在不同标注集下的表现与泛化能力。
• 通过跨数据集验证测试模型鲁棒性，将新数据集上表现最佳的模型直接应用于[37]数据集，无需微调。
• 将学习排序模型（SVM、AVA 1-1及所提方法）与基线方法（如eDN（MaxDiff））进行比较，后者依赖于显著性或美学评分。

实验结果

研究问题

• RQ1 与传统的显著性与美学方法相比，学习排序算法是否能有效提升自动图像裁剪性能？
• RQ2 基于排序的裁剪器在不同图像特征（如DeCAF7、SIFT-FV、Color-FV）下的性能表现如何？
• RQ3 成对子视图排序是否比单窗口优化或美学评分带来更高的裁剪准确率？
• RQ4 在所提数据集上训练的模型是否能泛化到其他数据集（如[37]数据集）？
• RQ5 特征表示质量对基于排序的图像裁剪器性能有何影响？

主要发现

• 使用DeCAF7特征的所提学习排序模型在新数据集上实现了66.43%的重叠准确率，显著优于次佳方法（AVA 1-1 + DeCAF7，准确率为51.42%）。
• 在[37]数据集上，表现最佳的基于排序的模型（Our + DeCAF7）实现了65.56%的重叠准确率，表明其在不同数据集间具有强大的泛化能力。
• 基于排序的模型在所有评估指标和数据集上均持续优于传统方法（如eDN、MaxDiff），证实了成对比较在裁剪任务中的优越性。
• DeCAF7特征的使用优于SIFT-FV和Color-FV，表明深度特征在图像裁剪排序中更具有效性。
• 跨数据集验证表明，基于新数据集训练的模型具有良好的泛化能力，在[37]数据集上仍保持高准确率，验证了该数据集作为基准的可靠性。
• 本研究揭示，通过深度卷积神经网络联合学习特征表示与语义嵌入，有望进一步提升基于排序的裁剪器性能，为未来研究指明了有前景的方向。