[论文解读] Sunrise or Sunset: Selective Comparison Learning for Subtle Attribute Recognition

Hong-Yu Zhou, Bin-Bin Gao+1 more|arXiv (Cornell University)|Jul 20, 2017

Advanced Image and Video Retrieval Techniques参考文献 23被引用 5

一句话总结

本文提出 SoSNet，一种选择性对比学习框架，通过在具有区分性的图像对上进行训练，提升了对日出与日落等细微视觉属性的识别能力。该方法在全新的日出或日落（SoS）数据集和温度估计任务上均达到最先进性能，显著优于人类基线和现有的深度学习模型。

ABSTRACT

The difficulty of image recognition has gradually increased from general category recognition to fine-grained recognition and to the recognition of some subtle attributes such as temperature and geolocation. In this paper, we try to focus on the classification between sunrise and sunset and hope to give a hint about how to tell the difference in subtle attributes. Sunrise vs. sunset is a difficult recognition task, which is challenging even for humans. Towards understanding this new problem, we first collect a new dataset made up of over one hundred webcams from different places. Since existing algorithmic methods have poor accuracy, we propose a new pairwise learning strategy to learn features from selective pairs of images. Experiments show that our approach surpasses baseline methods by a large margin and achieves better results even compared with humans. We also apply our approach to existing subtle attribute recognition problems, such as temperature estimation, and achieve state-of-the-art results.

研究动机与目标

• 为解决人类在识别细微视觉属性（例如在真实照片中区分日出与日落）时也存在困难的问题。
• 构建一个新的基准数据集 SoS，包含超过100个网络摄像头拍摄的日出与日落场景，用于细粒度属性识别。
• 开发一种新颖的成对学习框架，通过选择信息量丰富的图像对来提升细微属性分类的特征学习能力。
• 通过将其应用于其他细微属性任务（如从图像中估计环境温度）来验证方法的泛化能力。

提出的方法

• 提出一种选择性对比学习策略，通过在精心筛选的图像对上训练深度神经网络，聚焦于最具区分性的样本，以提升特征学习效果。
• 采用类似孪生网络的架构，并使用对比损失函数，学习强调图像对之间差异的嵌入表示。
• 应用一种采样策略，优先选择预测不确定性高或置信度低的图像对，以提升模型的泛化能力。
• 通过将软max损失替换为均方误差损失，将框架适配于回归任务，从而实现从图像中估计温度。
• 在 Glasner 数据集上为每个场景独立训练 SoSNet，并提取 Pool4 特征用于线性 ν-SVR 回归。
• 采用与先前工作一致的学习率调度策略和超参数设置，以确保公平比较。

实验结果

研究问题

• RQ1 深度学习模型是否能在真实图像中区分日出与日落等细微视觉属性方面超越人类？
• RQ2 使用精心筛选的图像对进行选择性对比学习，在提升细粒度细微属性分类识别准确率方面有多高效？
• RQ3 所提出的 SoSNet 框架是否能泛化到日出/日落任务之外的其他细微属性识别问题，如温度估计？
• RQ4 不同损失函数（例如对比损失与均方误差）在分类与回归设置下的性能影响如何？

主要发现

• 所提出的 SoSNet 在 SoS 数据集上达到 73.0% 的准确率，显著优于人类志愿者（64.0%）和基线模型（51.7–56.3%）。
• 在温度估计基准测试中，SoSNet 在场景 (j) 上取得最高的 R²（0.90）和最低的 RMSE（3.98），优于所有先前方法，包括 CNN 和 Transient Attributes。
• SoSNet 在 Glasner 温度数据集的全部 10 个场景中均达到最先进水平，R² 值在 0.73 至 0.90 之间，RMSE 在 2.53 至 6.26 之间。
• 该模型的性能超越了传统 CNN 和其他最先进方法，表明选择性成对学习在细微属性识别中极为有效。
• 消融实验表明，与随机或非选择性配对相比，图像对的选择性采样显著提升了学习效率与准确率。
• 该方法在其他细微属性任务中也表现出良好的泛化能力，展现出强大的鲁棒性与迁移能力，超越了原始的日出/日落分类任务。