[论文解读] Neural Matching Fields: Implicit Representation of Matching Fields for Visual Correspondence

Sunghwan Hong, Jisu Nam+5 more|arXiv (Cornell University)|Oct 6, 2022

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

Neural Matching Fields (NeMF) 提出了一种4D匹配场的隐式神经表征，用于实现高精度的语义对应，通过使用卷积和自注意力机制的代价嵌入网络，引导全连接网络学习细节化的对应关系。该方法通过结合基于PatchMatch的采样和坐标优化的推理时优化，实现了高分辨率推理，在标准基准测试中达到最先进性能，相较于手工设计的插值方法，定位精度显著提升。

ABSTRACT

Existing pipelines of semantic correspondence commonly include extracting high-level semantic features for the invariance against intra-class variations and background clutters. This architecture, however, inevitably results in a low-resolution matching field that additionally requires an ad-hoc interpolation process as a post-processing for converting it into a high-resolution one, certainly limiting the overall performance of matching results. To overcome this, inspired by recent success of implicit neural representation, we present a novel method for semantic correspondence, called Neural Matching Field (NeMF). However, complicacy and high-dimensionality of a 4D matching field are the major hindrances, which we propose a cost embedding network to process a coarse cost volume to use as a guidance for establishing high-precision matching field through the following fully-connected network. Nevertheless, learning a high-dimensional matching field remains challenging mainly due to computational complexity, since a naive exhaustive inference would require querying from all pixels in the 4D space to infer pixel-wise correspondences. To overcome this, we propose adequate training and inference procedures, which in the training phase, we randomly sample matching candidates and in the inference phase, we iteratively performs PatchMatch-based inference and coordinate optimization at test time. With these combined, competitive results are attained on several standard benchmarks for semantic correspondence. Code and pre-trained weights are available at https://ku-cvlab.github.io/NeMF/.

研究动机与目标

• 解决现有语义对应方法依赖低分辨率匹配场和手工设计插值所带来的性能局限。
• 克服学习和推理高维4D匹配场带来的高计算复杂度和不可行性。
• 通过隐式神经表征实现在原始图像分辨率下的高分辨率、高精度对应预测。
• 设计一种高效处理4D匹配场复杂性和维度的训练与推理流程。
• 验证代价嵌入和推理时优化在提升对应精度方面的有效性。

提出的方法

• 提出一种结合卷积和自注意力层的代价嵌入网络，从粗糙代价体积分提取局部和全局上下文，为隐式匹配场提供结构化引导。
• 采用全连接神经网络，隐式表征任意分辨率下的4D匹配场，实现连续的、高精度的对应预测。
• 采用基于采样的训练策略，随机采样匹配候选，并在对应关系正确性上监督网络，避免训练期间进行完整推理。
• 引入一种推理时优化程序，结合基于PatchMatch的搜索空间采样和迭代坐标优化，以在推理阶段细化预测结果。
• 在探索（类似PatchMatch的采样）和利用（坐标优化）之间交替进行，逐步提升推理时的对应精度。
• 通过分辨率感知设计控制内存占用和推理时间，实现在高分辨率下的高效推理。

实验结果

研究问题

• RQ1 隐式神经表征能否有效建模用于语义对应的高维4D匹配场？
• RQ2 如何有效嵌入代价体积分特征，以引导高精度匹配场的学习？
• RQ3 基于采样的训练与推理时优化能否共同克服4D匹配场推理的计算不可行性？
• RQ4 所提方法是否在标准基准测试中优于手工设计插值及先前的隐式或显式匹配方法？
• RQ5 代价嵌入组件和推理时优化对最终对应精度的影响如何？

主要发现

• NeMF 在标准语义对应基准测试中达到最先进性能，显著优于使用双线性或TPS插值的方法。
• 所提出的推理时优化策略（PatchMatch + 坐标优化）将推理时间从超过300,000秒（穷举法）降低至单张GPU上不足9秒，同时提升了精度。
• 与先前方法（如CHM和CATs）相比，该方法在高分辨率下显著降低了内存消耗，在128×128分辨率下仅需6,309 MB，而其他方法则因内存溢出（OOM）无法运行。
• 消融实验表明，代价嵌入网络和推理时优化均为性能关键，后者相比基线推理精度提升超过20%。
• 训练策略使网络在无需完整体积分推理的情况下实现稳定学习，即使在计算资源受限下，也使高分辨率训练成为可能。
• 该方法在多个数据集上保持高性能，展现出对类内差异和几何形变的鲁棒性。