[论文解读] SEKD: Self-Evolving Keypoint Detection and Description

Yafei Song, Ling Cai+3 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Image and Video Retrieval Techniques参考文献 13被引用 25

一句话总结

SEKD 提出了一种仅使用未标注自然图像的自监督、自进化框架，用于联合关键点检测与描述。通过基于可重复性和可靠性特性的迭代优化检测器和描述器模块，SEKD 在单应性估计、相对位姿估计和运动结构（SfM）任务中达到最先进性能，在 HPatches 数据集上取得 65.18% 的 Avg.HA@1:10，在 IMC 数据集上取得 0.553 mAA 的成绩，优于先前的手工设计方法与基于深度神经网络（DNN）的方法。

ABSTRACT

Researchers have attempted utilizing deep neural network (DNN) to learn novel local features from images inspired by its recent successes on a variety of vision tasks. However, existing DNN-based algorithms have not achieved such remarkable progress that could be partly attributed to insufficient utilization of the interactive characters between local feature detector and descriptor. To alleviate these difficulties, we emphasize two desired properties, i.e., repeatability and reliability, to simultaneously summarize the inherent and interactive characters of local feature detector and descriptor. Guided by these properties, a self-supervised framework, namely self-evolving keypoint detection and description (SEKD), is proposed to learn an advanced local feature model from unlabeled natural images. Additionally, to have performance guarantees, novel training strategies have also been dedicatedly designed to minimize the gap between the learned feature and its properties. We benchmark the proposed method on homography estimation, relative pose estimation, and structure-from-motion tasks. Extensive experimental results demonstrate that the proposed method outperforms popular hand-crafted and DNN-based methods by remarkable margins. Ablation studies also verify the effectiveness of each critical training strategy. We will release our code along with the trained model publicly.

研究动机与目标

• 为解决尽管深度学习技术不断进步，基于深度神经网络（DNN）的局部特征方法在性能提升上仍远逊于手工设计方法的问题。
• 利用关键点检测器与描述器之间固有的交互特性——可重复性与可靠性，以提升特征学习效果。
• 开发一种无需人工标注监督的自监督训练框架，仅通过自然图像实现端到端优化。
• 通过专门的训练策略缩小学习特征与其期望属性之间的差距，强化可重复性与可靠性。

提出的方法

• 该框架通过仅使用未标注图像，以自进化的方式迭代优化检测器与描述器模块。
• 检测器优化由描述器的可靠性引导：将具有可靠可区分描述的特征点作为检测器训练的伪真实标签。
• 描述器优化由检测器的可靠性引导：描述器被训练以区分当前检测器检测到的特征点。
• 损失函数通过在仿射变换图像对之间强制描述器的可重复性，提升其不变性。
• 描述器差异性损失确保不同特征点的描述具有足够的可区分性。
• 训练过程中应用仿射数据增强，以提升对非平面场景的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 能否通过仅使用未标注图像的自监督框架，联合优化关键点检测与描述？
• RQ2 可重复性与可靠性特性如何影响学习到的局部特征性能？
• RQ3 一种交替优化检测器与描述器的自进化训练策略，能否超越现有的基于DNN的方法与手工设计方法？
• RQ4 特定训练组件（如描述器可重复性损失与差异性损失）对性能提升的贡献程度如何？

主要发现

• 在 HPatches 数据集上，SEKD 达到 79.98% 的 Avg.HA@1:10，显著优于第二名方法（R2D2 的 72.15%）。
• 在 IMC 数据集上，SEKD 在运动结构任务中取得 0.553 mAA 的成绩，在相对位姿估计任务中取得 0.430 mAA，分别优于 SuperPoint 0.035 和 0.049。
• 消融实验表明，若移除描述器可重复性或差异性损失，性能将下降，Avg.HA@1:10 分别降至 66.58% 和 78.03%。
• 移除检测器可重复性损失或仿射数据增强也会降低性能，表明其在模型稳定性和收敛性中的关键作用。
• 尽管仅在自然图像的合成仿射变换数据上进行训练，SEKD 在 3D 重建任务中仍表现出良好泛化能力，展现出强大的鲁棒性。