[论文解读] Transfer Learning by Ranking for Weakly Supervised Object Annotation

Zhiyuan Shi, Parthipan Siva+1 more|arXiv (Cornell University)|May 2, 2017

Advanced Image and Video Retrieval Techniques参考文献 16被引用 17

一句话总结

本文提出了一种新颖的迁移学习方法，用于弱监督目标标注，通过将目标定位排序问题建模为迁移学习问题。该方法将一个在具有无关对象类别的辅助数据集上训练的模型，用于预测显著区域与真实标注之间的重叠排序，通过利用外观相似性来推断标注质量，在 PASCAL VOC 2007 数据集上显著优于当前最先进的弱监督方法。

ABSTRACT

Most existing approaches to training object detectors rely on fully supervised learning, which requires the tedious manual annotation of object location in a training set. Recently there has been an increasing interest in developing weakly supervised approach to detector training where the object location is not manually annotated but automatically determined based on binary (weak) labels indicating if a training image contains the object. This is a challenging problem because each image can contain many candidate object locations which partially overlaps the object of interest. Existing approaches focus on how to best utilise the binary labels for object location annotation. In this paper we propose to solve this problem from a very different perspective by casting it as a transfer learning problem. Specifically, we formulate a novel transfer learning based on learning to rank, which effectively transfers a model for automatic annotation of object location from an auxiliary dataset to a target dataset with completely unrelated object categories. We show that our approach outperforms existing state-of-the-art weakly supervised approach to annotating objects in the challenging VOC dataset.

研究动机与目标

• 通过仅使用二值图像级标签，实现弱监督学习，以减少目标检测中的手动标注工作量。
• 解决在缺乏真实标注的情况下，从杂乱图像中的显著区域中选择准确目标位置的挑战。
• 探究是否可从具有无关对象类别的辅助数据集进行迁移学习，以改善弱监督目标标注。
• 将问题建模为一个排序任务，基于外观相似性预测显著区域与真实标注之间的重叠程度。
• 证明基于排序的迁移学习优于现有的最先进弱监督方法。

提出的方法

• 该方法将目标标注建模为迁移学习问题，将来自具有完整标注目标位置的辅助数据集的知识迁移到目标数据集（其类别无关）。
• 利用学习排序框架，建模显著区域的外观相似性与其与真实标注重叠程度之间的映射关系。
• 排序模型以外观特征（例如，BoW 直方图）作为输入，基于其与真实目标位置的预期重叠程度，预测候选区域的相对排序。
• 在辅助数据集上使用成对排序损失进行模型训练，以促使重叠程度更高的区域获得更高的排序分数。
• 训练完成的模型随后应用于目标数据集，对候选显著区域进行排序，并将排序最高的区域作为预测的目标位置。
• 通过与现有方法（如 objectness 和 Siva 与 Xiang, 2011）进行得分级融合，进一步提升性能，尤其在结合 objectness 时效果更佳。

实验结果

研究问题

• RQ1 能否从具有无关对象类别的辅助数据集进行迁移学习，以改善目标数据集中的弱监督目标标注？
• RQ2 无论对象类别如何，显著区域的外观相似性与它们与真实标注的重叠程度之间是否存在一致的映射关系？
• RQ3 将标注问题建模为排序任务（而非分类任务）是否能提升弱监督目标检测的性能？
• RQ4 所提出的基于排序的迁移学习方法与标准基准上的最先进弱监督方法相比表现如何？
• RQ5 所提出的方法能否与现有的显著性检测或多实例学习方法有效结合，以进一步提升性能？

主要发现

• 所提出的基于排序的迁移学习模型在 PASCAL VOC 2007 AllView 数据集上实现了 32.13% 的平均精度均值（mAP），优于此前最先进方法。
• 将排序模型与 objectness 分数进行融合后，在 SingleView 数据集上达到最佳性能，mAP 达到 39.74%，超过 Siva 与 Xiang (2011) 和 Deselaers 等人 (2010) 的结果。
• 将排序简化为两类（高重叠 vs. 低重叠）的 2Rank 模型，性能显著低于完整排序模型，证明了排序建模的重要性。
• 在辅助数据集上训练的通用目标检测器性能较差（mAP 为 7.42%），凸显了在缺乏适当排序机制的情况下，直接进行分类迁移的局限性。
• 非排序的二分类 SVM 基线模型性能劣于排序模型（mAP 分别为 20.45% vs. 30.89%），证实了对于该任务，排序比二分类更有效。
• 该方法泛化能力良好，在更简单的 SingleView 数据集上也取得了具有竞争力的结果，并且在与现有方法融合时表现出一致的性能提升。