[论文解读] RegNet: Learning the Optimization of Direct Image-to-Image Pose Registration

Lei Han, Mengqi Ji+2 more|arXiv (Cornell University)|Dec 26, 2018

Advanced Vision and Imaging参考文献 33被引用 14

一句话总结

RegNet 提出了一种端到端的深度学习框架，联合学习特征表示和雅可比矩阵，用于直接的图像到图像姿态配准，以学习到的偏导数取代手工设计的数值雅可比矩阵。这种联合优化实现了更快、更鲁棒的收敛，尤其在大基线图像对上表现更优，实现了更高的配准精度，并在初始重投影误差超过30%的情况下达到40%的成功率，优于基线方法。

ABSTRACT

Direct image-to-image alignment that relies on the optimization of photometric error metrics suffers from limited convergence range and sensitivity to lighting conditions. Deep learning approaches has been applied to address this problem by learning better feature representations using convolutional neural networks, yet still require a good initialization. In this paper, we demonstrate that the inaccurate numerical Jacobian limits the convergence range which could be improved greatly using learned approaches. Based on this observation, we propose a novel end-to-end network, RegNet, to learn the optimization of image-to-image pose registration. By jointly learning feature representation for each pixel and partial derivatives that replace handcrafted ones (e.g., numerical differentiation) in the optimization step, the neural network facilitates end-to-end optimization. The energy landscape is constrained on both the feature representation and the learned Jacobian, hence providing more flexibility for the optimization as a consequence leads to more robust and faster convergence. In a series of experiments, including a broad ablation study, we demonstrate that RegNet is able to converge for large-baseline image pairs with fewer iterations.

研究动机与目标

• 解决使用光度误差最小化进行直接图像到图像姿态配准时收敛范围有限且对初始化敏感的问题。
• 通过端到端联合学习特征表示与雅可比矩阵，克服在初始对齐较差时数值雅可比矩阵的不准确性。
• 通过在优化过程中同时约束特征空间与雅可比矩阵，提升优化的鲁棒性与收敛速度。
• 实现神经网络的端到端训练，联合优化特征表示与梯度计算，用于姿态配准。
• 在具有大基线图像对和较差初始化的挑战性数据集上展示优越性能。

提出的方法

• 提出一种新颖的神经网络架构 RegNet，从输入图像对中联合预测每个像素的特征图与雅可比矩阵。
• 用具有大感受野的可学习雅可比网络替代传统的数值微分，以捕捉空间上下文信息。
• 将学习到的雅可比矩阵集成到 Levenberg-Marquardt 优化循环中，用于计算姿态精化所需的梯度更新。
• 使用重投影误差作为监督信号，端到端训练网络，实现特征与导数的联合优化。
• 通过学习特征度量及其偏导数，约束能量景观，使代价函数更具可优化性。
• 使用深度估计作为初始姿态先验，然后通过学习到的优化动力学迭代精化相对变换。

实验结果

研究问题

• RQ1 联合学习特征表示与雅可比矩阵是否能提升直接图像到图像姿态配准的收敛范围？
• RQ2 用学习到的偏导数替代数值雅可比矩阵是否能带来更快、更鲁棒的优化？
• RQ3 在初始对齐较差的情况下，尤其针对大基线图像对，所提方法表现如何？
• RQ4 端到端学习优化过程是否能实现优于独立特征学习与数值微分的配准精度？
• RQ5 学习到的雅可比矩阵对能量景观有何影响，以及其如何影响收敛速度与鲁棒性？

主要发现

• RegNet 在初始重投影误差超过30%的图像对上实现了40%的成功率，显著优于基线方法，后者在该条件下完全失败。
• 与传统方法相比，RegNet 更有效地降低了重投影误差，误差的累积分布函数显示其在所有阈值下均具有最小误差。
• 特征与雅可比矩阵的联合学习实现了更快收敛，达到高精度配准时所需优化迭代次数更少。
• 与使用学习特征但依赖数值雅可比的基线相比，RegNet 在高精度配准中表现更优，表明其对特征的过度平滑更少。
• 即使从较差的初始化开始，学习到的雅可比矩阵仍能提供更优的梯度方向，从而实现更稳定、更精确的优化轨迹。
• 定性结果表明，与 Demon 相比，RegNet 生成的光度误差图更轻，表明其图像配准质量更优。