[论文解读] Neural Outlier Rejection for Self-Supervised Keypoint Learning

Jiexiong Tang, Hanme Kim+3 more|arXiv (Cornell University)|Dec 23, 2019

Advanced Image and Video Retrieval Techniques参考文献 31被引用 4

一句话总结

该论文提出IO-Net，一种基于神经异常值剔除的自监督代理任务，用于联合训练关键点检测与描述，同时引入KeyPointNet，结合亚像素上采样与边界感知回归。该方法在基准数据集上实现了重复性、定位误差和基础变换估计的最先进性能，且无需为描述子提供显式监督。

ABSTRACT

Identifying salient points in images is a crucial component for visual odometry, Structure-from-Motion or SLAM algorithms. Recently, several learned keypoint methods have demonstrated compelling performance on challenging benchmarks. However, generating consistent and accurate training data for interest-point detection in natural images still remains challenging, especially for human annotators. We introduce IO-Net (i.e. InlierOutlierNet), a novel proxy task for the self-supervision of keypoint detection, description and matching. By making the sampling of inlier-outlier sets from point-pair correspondences fully differentiable within the keypoint learning framework, we show that are able to simultaneously self-supervise keypoint description and improve keypoint matching. Second, we introduce KeyPointNet, a keypoint-network architecture that is especially amenable to robust keypoint detection and description. We design the network to allow local keypoint aggregation to avoid artifacts due to spatial discretizations commonly used for this task, and we improve fine-grained keypoint descriptor performance by taking advantage of efficient sub-pixel convolutions to upsample the descriptor feature-maps to a higher operating resolution. Through extensive experiments and ablative analysis, we show that the proposed self-supervised keypoint learning method greatly improves the quality of feature matching and homography estimation on challenging benchmarks over the state-of-the-art.

研究动机与目标

• 解决在自然图像中获取准确且一致的关键点检测训练数据的挑战，尤其是显著点的人工标注存在困难。
• 克服手工设计特征（如SIFT和ORB）的局限性，这些特征虽被学习方法超越，但需要高昂的监督成本。
• 开发一种自监督框架，通过基于内点-外点分类的新型代理任务，联合优化关键点检测与描述。
• 通过关键点定位与特征图上采样方面的架构创新，提升描述子保真度与匹配鲁棒性。
• 在不依赖显式关键点或描述子监督的情况下，实现关键点匹配与基础变换估计的最先进性能。

提出的方法

• 提出IO-Net，一种可微分的代理任务，在候选点对对应关系上执行神经异常值剔除，以生成关键点学习的监督信号。
• 利用内点-外点预测头提供梯度信号，引导关键点网络学习更具判别性的描述子。
• 设计KeyPointNet，其回归头允许关键点位置在网格单元外预测，从而提升边界附近及跨边界区域的精度。
• 应用亚像素卷积对描述子特征图进行上采样，以保留细粒度细节，提升度量学习性能。
• 仅使用IO-Net损失和对比度三元组损失，端到端训练关键点网络，无需显式关键点标注。
• 通过异常值剔除任务的梯度流动，隐式监督描述子学习，即使无直接描述子损失亦可实现。

实验结果

研究问题

• RQ1 基于异常值剔除的自监督代理任务是否能有效监督关键点检测与描述，而无需显式标注？
• RQ2 可微分的异常值剔除如何提升关键点描述子质量与匹配性能？
• RQ3 亚像素上采样与边界感知回归等架构改进在多大程度上增强了关键点检测与描述子保真度？
• RQ4 完全自监督的关键点网络能否在重复性、定位误差与基础变换估计方面实现最先进性能？
• RQ5 辅助的IO-Net任务是否提供了足够强的监督信号，使无需显式监督即可训练出高质量描述子？

主要发现

• 在240×320分辨率下，该方法实现0.686的重复性，优于所有先前方法，包括UnsuperPoint（0.645）和SuperPoint（0.631）。
• 在480×640分辨率下，该方法实现0.684的重复性，显著优于UnsuperPoint（0.612）和SuperPoint（0.593）。
• 对于定位误差，该方法在240×320下达到0.890，在480×640下达到0.970，优于UnsuperPoint（0.832和0.991）在更高分辨率下的表现。
• 在480×640分辨率下，使用1000个关键点时，该方法实现0.544的匹配分数（M.Score），超越UnsuperPoint（0.383）和SuperPoint（0.281）。
• 在Cor-5阈值下的基础变换估计匹配分数达到0.907，优于所有基线方法，仅在一种情况下略逊于SIFT，且在复杂条件下表现出更优的鲁棒性。
• 在Titan Xp上，该模型推理速度达174.5 FPS（含上采样）与194.9 FPS（不含上采样），展现出实时推理能力。