[论文解读] Robust Image Matching By Dynamic Feature Selection

Hao Huang, Jianchun Chen+3 more|arXiv (Cornell University)|Aug 13, 2020

Advanced Image and Video Retrieval Techniques参考文献 42被引用 4

一句话总结

本文提出了一种基于强化学习的动态特征选择方法，通过将特征选择建模为顺序马尔可夫决策过程（MDP），实现鲁棒图像匹配。该方法从CNN主干网络中自适应地选择多尺度特征，以提升在类内变化下的对应匹配精度，在三个基准数据集上实现了最先进或相当的性能，且无需人工先验知识即可学习最优特征组合。

ABSTRACT

Estimating dense correspondences between images is a long-standing image under-standing task. Recent works introduce convolutional neural networks (CNNs) to extract high-level feature maps and find correspondences through feature matching. However,high-level feature maps are in low spatial resolution and therefore insufficient to provide accurate and fine-grained features to distinguish intra-class variations for correspondence matching. To address this problem, we generate robust features by dynamically selecting features at different scales. To resolve two critical issues in feature selection,i.e.,how many and which scales of features to be selected, we frame the feature selection process as a sequential Markov decision-making process (MDP) and introduce an optimal selection strategy using reinforcement learning (RL). We define an RL environment for image matching in which each individual action either requires new features or terminates the selection episode by referring a matching score. Deep neural networks are incorporated into our method and trained for decision making. Experimental results show that our method achieves comparable/superior performance with state-of-the-art methods on three benchmarks, demonstrating the effectiveness of our feature selection strategy.

研究动机与目标

• 为了解决现有基于学习的图像匹配方法仅依赖高层CNN特征的局限性，这些特征在类内变化下缺乏细粒度区分能力。
• 解决确定选择哪些以及多少特征尺度以实现最优匹配性能的关键挑战。
• 开发一种端到端可训练的框架，利用强化学习动态选择特征，避免使用如束搜索等启发式搜索策略。
• 提升对形变、光照变化和尺度变化的鲁棒性，以改善图像对应关系估计。
• 在无需任务特定特征工程的前提下，证明所学特征选择在多样化基准上的有效性。

提出的方法

• 将特征选择过程建模为顺序马尔可夫决策过程（MDP），其中每个动作从特定CNN层选择一个特征图或终止该回合。
• 训练一个深度Q网络（DQN）以基于匹配分数提升的奖励信号，决定是否选择另一特征或停止。
• 通过可学习的融合模块将多尺度特征拼接并融合，生成用于匹配的鲁棒且具有区分性的描述符。
• 环境通过计算视觉相似性和空间一致性来模拟图像匹配，奖励由预测对应关系的质量决定。
• 该方法无需图像对的先验知识，通过策略优化直接从数据中学习最优特征组合。
• 该方法允许在特征层级间灵活、非顺序地选择，扩展了搜索空间，超越了束搜索等受限策略。

实验结果

研究问题

• RQ1 强化学习能否在不依赖手工设计启发式规则的情况下，有效学习多尺度特征选择以实现鲁棒图像匹配？
• RQ2 与固定或顺序选择相比，CNN层间动态自适应特征选择在匹配精度和鲁棒性方面表现如何？
• RQ3 端到端的强化学习方法能否在标准基准上超越或匹配最先进方法在语义对应估计中的表现？
• RQ4 特征尺度多样性对处理纹理、光照和形变等类内变化的影响是什么？
• RQ5 所提出方法是否能在不同数据集和图像对类型（包括非刚性形变）上实现良好泛化？

主要发现

• 所提方法在三个公开基准数据集（PF-PASCAL、PASCAL-Part和LSP）上实现了最先进或具有竞争力的性能，展现出对各类图像变化的鲁棒性。
• 在PF-PASCAL数据集上，该方法在最佳性能的层组合下实现了PCKh@0.5得分为0.70，优于随机层选择和束搜索基线方法。
• 定性结果表明，即使在近似刚性和非刚性形变下，该方法仍能正确匹配关键点，避免在非目标物体上产生错误匹配。
• 该方法选择的特征集最小但有效，减少了冗余性，同时保持了高匹配精度。
• 消融实验表明，随机层选择的性能显著劣于强化学习优化的选择策略，验证了基于学习策略的有效性。
• 该方法在不同数据集上泛化良好，在处理尺度变化、遮挡和背景噪声方面均表现出对基线方法的一致性改进。