[论文解读] PoseDiffusion: Solving Pose Estimation via Diffusion-aided Bundle Adjustment

Jianyuan Wang, Christian Rupprecht+1 more|arXiv (Cornell University)|Jun 27, 2023

Advanced Vision and ImagingComputer Science被引用 3

一句话总结

PoseDiffusion 提出了一种基于扩散模型的相机位姿估计框架，通过将2D对应点的几何约束整合到概率扩散过程中，迭代优化相机位姿。该方法在 CO3Dv2 和 RealEstate10k 数据集上实现了最先进（SOTA）的精度表现，优于传统SfM方法和学习型方法，尤其在稀疏视角和具有挑战性的设置下表现更优。

ABSTRACT

Camera pose estimation is a long-standing computer vision problem that to date often relies on classical methods, such as handcrafted keypoint matching, RANSAC and bundle adjustment. In this paper, we propose to formulate the Structure from Motion (SfM) problem inside a probabilistic diffusion framework, modelling the conditional distribution of camera poses given input images. This novel view of an old problem has several advantages. (i) The nature of the diffusion framework mirrors the iterative procedure of bundle adjustment. (ii) The formulation allows a seamless integration of geometric constraints from epipolar geometry. (iii) It excels in typically difficult scenarios such as sparse views with wide baselines. (iv) The method can predict intrinsics and extrinsics for an arbitrary amount of images. We demonstrate that our method PoseDiffusion significantly improves over the classic SfM pipelines and the learned approaches on two real-world datasets. Finally, it is observed that our method can generalize across datasets without further training. Project page: https://posediffusion.github.io/

研究动机与目标

• 解决传统结构从运动（SfM）流水线在稀疏视角和远基线场景下的局限性。
• 将基础对极几何的几何约束整合到深度学习框架中，以提升位姿估计性能。
• 开发一种可微分的、迭代优化的位姿精炼过程，其设计思想类似捆绑调整（bundle adjustment），但引入了扩散模型的归纳偏置。
• 实现从自由形式图像集合中端到端预测相机的外参和内参。

提出的方法

• 将相机位姿估计建模为学习条件分布 p(x|I)，其中 x 为相机位姿，I 为输入图像集合。
• 采用去噪U-Net架构，通过反转前向扩散过程，迭代优化带有噪声的相机位姿估计。
• 通过2D图像间对应点提供几何引导，在采样过程中施加对极约束，提升几何一致性。
• 使用多尺度特征提取器（如 DINO ViT-S16）生成图像嵌入，作为扩散模型的条件输入。
• 采用无分类器引导（classifier-free guidance）结合几何约束，引导采样过程趋向更一致且准确的位姿解。
• 在具有已知相机位姿的大规模数据集上进行自监督训练，使模型能够泛化到未见场景。

实验结果

研究问题

• RQ1 基于扩散的框架能否有效建模相机位姿估计中捆绑调整的复杂、非凸优化景观？
• RQ2 将2D对应点提供的几何约束整合到扩散模型中，如何提升位姿估计的准确性和一致性？
• RQ3 该学习型扩散模型是否能在无需微调的情况下跨数据集和场景类型泛化，尤其在低数据量场景下？
• RQ4 该方法是否在稀疏和密集视角设置下均优于传统SfM流水线和学习型基线方法？
• RQ5 在对称或纹理稀少的场景中，背景上下文在多大程度上提升了位姿估计的准确性？

主要发现

• PoseDiffusion 在 CO3Dv2 上使用 DINO ViT-S16 主干网络时，mAA(30) 达到 66.5，优于 ResNet50 和监督微调的 ResNet50。
• 尽管 COLMAP 可访问真实标签，该方法在多帧设置下仍与 COLMAP+SPSG 表现相当。
• 使用 100 次扩散步骤（T=100）时性能最优，超过 100 步后无显著增益。
• 遮蔽背景像素后，mAA(30) 降至 57.0，表明背景上下文显著提升了位姿估计性能。
• 模型无需微调即可在不同数据集间泛化，展现出强大的零样本泛化能力。
• PoseDiffusion 改进了 NeRF 训练的监督信号，在外参和内参估计方面均表现出更优的准确性。