[论文解读] RANSAC-Flow: generic two-stage image alignment

Xi Shen, François Darmon+2 more|arXiv (Cornell University)|Apr 3, 2020

Advanced Vision and Imaging参考文献 97被引用 4

一句话总结

RANSAC-Flow 提出了一种通用的两阶段无监督方法，通过结合基于 RANSAC 的单应矩阵估计与自监督深度网络，实现密集图像对齐。该网络利用 SSIM 和循环一致性损失对齐结果进行精细化调整。该方法在多种任务中表现优异，包括光流估计、视觉定位和艺术作品对齐，为艺术史研究和纹理迁移等新应用提供了可能。

ABSTRACT

This paper considers the generic problem of dense alignment between two images, whether they be two frames of a video, two widely different views of a scene, two paintings depicting similar content, etc. Whereas each such task is typically addressed with a domain-specific solution, we show that a simple unsupervised approach performs surprisingly well across a range of tasks. Our main insight is that parametric and non-parametric alignment methods have complementary strengths. We propose a two-stage process: first, a feature-based parametric coarse alignment using one or more homographies, followed by non-parametric fine pixel-wise alignment. Coarse alignment is performed using RANSAC on off-the-shelf deep features. Fine alignment is learned in an unsupervised way by a deep network which optimizes a standard structural similarity metric (SSIM) between the two images, plus cycle-consistency. Despite its simplicity, our method shows competitive results on a range of tasks and datasets, including unsupervised optical flow on KITTI, dense correspondences on Hpatches, two-view geometry estimation on YFCC100M, localization on Aachen Day-Night, and, for the first time, fine alignment of artworks on the Brughel dataset. Our code and data are available at http://imagine.enpc.fr/~shenx/RANSAC-Flow/

研究动机与目标

• 解决在具有显著外观和视角差异的图像对之间实现通用密集图像对齐的挑战。
• 通过结合参数化方法（如基于单应矩阵的 RANSAC）与非参数化方法（如光流）的优势，克服二者各自的局限性。
• 在无需真实光流或对应点监督的情况下实现无监督对齐，尤其适用于罕见或艺术性图像对。
• 通过实现视觉差异较大的图像的细粒度对齐，支持艺术史研究中的新应用，例如分析历史艺术作品的复制过程。
• 提供即插即用的解决方案，无需针对特定任务进行微调，可在多个数据集和任务中直接使用。

提出的方法

• 第一阶段：利用现成的深度特征（如 SuperPoint 提供的）通过 RANSAC 估计一个或多个粗粒度单应矩阵，以应对较大的视角和外观变化。
• 第二阶段：通过自监督方式训练一个深度光流网络，预测最小化变形图像与目标图像之间 SSIM 的密集像素级光流场。
• 通过引入循环一致性损失，确保正向和反向变形结果一致，提升方法鲁棒性。
• 使用多个单应矩阵建模分段平面场景结构，相比单一生射矩阵方法，显著提升对齐精度。
• 通过迭代移除匹配对应点并重新运行流程，实现对复杂非均匀变换的逐步优化。
• 利用预训练特征与可微光流网络，实现无需真实监督的端到端优化。

实验结果

研究问题

• RQ1 一种简单、通用的两阶段方法，结合参数化与非参数化策略，是否能在无需任务特定设计的前提下，在多样化图像对齐任务中实现具有竞争力的性能？
• RQ2 在存在显著外观和视角差异的场景下，使用现成深度特征的 RANSAC 在粗粒度对齐中的有效性如何？
• RQ3 在无真实光流监督的情况下，基于 SSIM 和循环一致性损失训练的自监督深度网络，能否实现高精度的密集对齐？
• RQ4 该方法是否能支持艺术史研究中的新应用，例如通过光流可视化分析视觉差异较大的历史艺术作品的复制过程？
• RQ5 在复杂场景中，使用多个单应矩阵是否显著优于单一生射矩阵，从而提升对齐精度？

主要发现

• RANSAC-Flow 在 KITTI 和 Hpatches 数据集上的无监督光流估计任务中表现优异，性能超越或媲美最先进方法，且无需任何监督信号。
• 该方法在 Aachen Day-Night 基准测试中实现了准确的视觉定位，性能与仅使用图像匹配和 COLMAP 的最先进方法相当。
• 该方法仅基于图像对即可在 YFCC100M 数据集上实现可靠的两视图几何估计，展现出对大范围外观和视角变化的强鲁棒性。
• 在 Brughel 数据集中，该方法实现了高质量的密集对齐，首次通过光流可视化实现了对艺术复制过程的细粒度分析。
• 精细的光流场揭示了部分作品中空间一致的复制行为，而另一些作品则表现出不连续、不规则的位移，为理解艺术创作技法提供了新洞见。
• 该方法在纹理迁移和互联网图像平均化任务中表现优异，生成结果比基线对齐方法更清晰、更一致。