[论文解读] UR2KiD: Unifying Retrieval, Keypoint Detection, and Keypoint Description without Local Correspondence Supervision

Tsun-Yi Yang, Duy-Kien Nguyen+2 more|arXiv (Cornell University)|Jan 20, 2020

Advanced Image and Video Retrieval Techniques参考文献 37被引用 27

一句话总结

UR2KiD 提出了一种统一的深度学习框架，无需像素级对应监督即可联合执行图像检索、关键点检测和关键点描述。通过利用基于 ResNet 的主干网络的多尺度特征，结合自蒸馏和局部响应池化，该方法在尺度变化、视角变化以及昼夜转换等挑战性条件下实现了最先进性能，尤其在极端尺度差异下的定位基准测试中优于先前方法。

ABSTRACT

In this paper, we explore how three related tasks, namely keypoint detection, description, and image retrieval can be jointly tackled using a single unified framework, which is trained without the need of training data with point to point correspondences. By leveraging diverse information from sequential layers of a standard ResNet-based architecture, we are able to extract keypoints and descriptors that encode local information using generic techniques such as local activation norms, channel grouping and dropping, and self-distillation. Subsequently, global information for image retrieval is encoded in an end-to-end pipeline, based on pooling of the aforementioned local responses. In contrast to previous methods in local matching, our method does not depend on pointwise/pixelwise correspondences, and requires no such supervision at all i.e. no depth-maps from an SfM model nor manually created synthetic affine transformations. We illustrate that this simple and direct paradigm, is able to achieve very competitive results against the state-of-the-art methods in various challenging benchmark conditions such as viewpoint changes, scale changes, and day-night shifting localization.

研究动机与目标

• 将图像检索、关键点检测与关键点描述统一为一个端到端的框架。
• 消除对基于像素级对应关系（如 SfM、仿射变换）的昂贵或合成监督的需求。
• 提升在定位任务中对尺度变化、视角变化以及昼夜光照变化的鲁棒性。
• 证明全局与局部表征学习可在最小监督下联合优化。

提出的方法

• 使用预训练的 ResNet101 主干网络，从多个层级的特征图中提取分层的局部与全局表征。
• 应用局部激活范数、通道分组与丢弃策略，以在无对应关系监督下提升局部描述子质量。
• 通过教师-学生网络之间的自蒸馏，提升关键点检测与描述子学习性能。
• 对局部响应进行全局平均池化，生成用于图像检索的全局描述子。
• 仅使用图像对作为监督信号，端到端训练整个网络，避免像素级对应标注。
• 训练过程中冻结网络早期模块，仅微调描述子维度压缩的映射层，从而提升稳定性和性能。

实验结果

研究问题

• RQ1 一个统一的深度神经网络是否能够在不依赖点对点对应关系监督的情况下，联合优化图像检索、关键点检测与关键点描述？
• RQ2 与最先进方法相比，该方法在查询图像与数据库图像之间存在极端尺度差异时的表现如何？
• RQ3 利用多尺度特征与自蒸馏是否能提升定位任务中对视角与光照变化的鲁棒性？
• RQ4 仅使用弱监督（仅图像对）训练的单一网络是否能在全局检索与局部匹配基准上均取得具有竞争力的性能？

主要发现

• UR2KiD 在 Aachen 基准上的定位任务中实现了最先进性能，尤其在严重尺度变化（如查询-数据库比例为 0.5:1）时，准确率比 D2-Net 提高 5–7%。
• 该方法在昼夜转换和视角变化下仍保持强劲性能，展现出对真实世界视觉变化的鲁棒性。
• 冻结网络早期模块并仅微调映射层可获得最佳结果，表明最小程度的微调已足以实现有效的描述子学习。
• 在 Oxford5k 和 Paris6k 上，该模型实现了具有竞争力的全局检索性能，尤其在使用 MegaDepth 预训练时表现更优；然而，当使用 SfM120k 训练时，其性能仍落后于专门设计的检索方法（如 GeM 和 DAME）。
• 消融实验表明，采用学生检测器与学生描述子并冻结权重可实现最佳泛化能力，尤其在尺度变化场景下表现突出。
• 该框架成功仅通过图像级监督实现了局部与全局表征学习的统一，消除了对昂贵 SfM 或合成数据的需求。