[论文解读] PDC-Net+: Enhanced Probabilistic Dense Correspondence Network

Prune Truong, Martin Danelljan+2 more|arXiv (Cornell University)|Sep 28, 2021

Human Pose and Action Recognition被引用 4

一句话总结

PDC-Net+ 提出了一种用于密集对应估计的概率深度网络，通过受约束的拉普拉斯分布混合模型联合预测光流和不确定性，实现了在大位移、遮挡和外观变化情况下的鲁棒置信度估计。该方法在几何匹配和光流基准测试中达到最先进性能，同时显著提升了下游任务（如三维重建和位姿估计）中的不确定性校准效果。

ABSTRACT

Establishing robust and accurate correspondences between a pair of images is a long-standing computer vision problem with numerous applications. While classically dominated by sparse methods, emerging dense approaches offer a compelling alternative paradigm that avoids the keypoint detection step. However, dense flow estimation is often inaccurate in the case of large displacements, occlusions, or homogeneous regions. In order to apply dense methods to real-world applications, such as pose estimation, image manipulation, or 3D reconstruction, it is therefore crucial to estimate the confidence of the predicted matches. We propose the Enhanced Probabilistic Dense Correspondence Network, PDC-Net+, capable of estimating accurate dense correspondences along with a reliable confidence map. We develop a flexible probabilistic approach that jointly learns the flow prediction and its uncertainty. In particular, we parametrize the predictive distribution as a constrained mixture model, ensuring better modelling of both accurate flow predictions and outliers. Moreover, we develop an architecture and an enhanced training strategy tailored for robust and generalizable uncertainty prediction in the context of self-supervised training. Our approach obtains state-of-the-art results on multiple challenging geometric matching and optical flow datasets. We further validate the usefulness of our probabilistic confidence estimation for the tasks of pose estimation, 3D reconstruction, image-based localization, and image retrieval. Code and models are available at https://github.com/PruneTruong/DenseMatching.

研究动机与目标

• 为解决密集对应网络在大位移、遮挡和外观变化下缺乏可靠不确定性估计的问题。
• 开发一种自监督训练框架，使其在无需密集标注的情况下，能很好地泛化至真实世界的几何匹配场景。
• 使密集对应方法能够支持传统上依赖稀疏关键点匹配的应用，如位姿估计和基于图像的定位。
• 通过概率建模显式区分内点和外点光流预测，提升不确定性预测的鲁棒性。
• 设计一种架构与训练策略，防止在无纹理或遮挡区域出现过度自信的预测。

提出的方法

• 网络将条件光流分布建模为两个拉普拉斯分量的受约束混合，其中第一部分捕捉内点预测，第二部分用于建模外点。
• 通过在方差上施加固定下限和上限（σ²₁ = 1.0，2.0 ≤ σ²₂ ≤ HW）来约束混合分量，解决排列歧义问题并提升不确定性分离效果。
• 在相关体积解码器中引入独立的空间处理模块，以防止过度外推并降低在无纹理区域的过度自信。
• 在自监督学习过程中应用可注入性训练掩码，以强制真实光流的注入性，从而提升在遮挡区域和运动物体区域的泛化能力。
• 采用多物体训练数据生成策略，以模拟独立运动的物体，提升对复杂场景动态的鲁棒性。
• 采用可微损失函数端到端训练模型，同时优化光流精度（AEPE、Fl）和不确定性校准（AUSE），其中不确定性被估计为成为外点的概率。

实验结果

研究问题

• RQ1 深度网络是否能在具有挑战性的几何匹配场景中，联合预测密集光流和可靠的不确定性估计？
• RQ2 如何有效建模不确定性，以在大位移和遮挡情况下区分内点预测与外点？
• RQ3 为防止自监督密集对应网络出现过度自信，需要哪些架构和训练改进？
• RQ4 在包含真实场景动态的自监督训练中，其泛化能力和不确定性校准能提升到何种程度？
• RQ5 密集网络生成的概率置信图是否能实现位姿估计和三维重建等下游任务的最先进性能？

主要发现

• PDC-Net+ 在 KITTI-2015、MegaDepth 和 YFCC100M 数据集上达到最先进性能，在 KITTI-2015 上实现 5.55 AEPE 和 16.75% Fl。
• 该模型将 KITTI-2015 上的 AUSE（不确定性校准误差）降低至 0.136，YFCC100M 上为 0.238，表明其不确定性校准优于基线方法。
• 通过引入多个独立运动物体进行训练，KITTI-2015 上的 Fl 提升了 3%，证明了对复杂运动的鲁棒性增强。
• 可注入性训练掩码在 KITTI-2015 上实现 5.55 AEPE，优于无掩码和遮挡掩码策略，尤其在遮挡区域表现更优。
• 在 YFCC100M 上，PDC-Net+ 在基于图像的定位任务中实现 44.45% mAP@5° 和 54.70% mAP@10°，表明其在真实应用中具有强大的迁移能力。
• 采用固定方差边界（σ²₁ = 1.0，2.0 ≤ σ²₂ ≤ HW）的受约束混合模型训练最稳定，性能最优，优于无约束或固定方差的替代方案。