[论文解读] Probabilistic Permutation Synchronization using the Riemannian Structure of the Birkhoff Polytope

Tolga Birdal, Umut Şimşekli|arXiv (Cornell University)|Apr 11, 2019

Topological and Geometric Data Analysis参考文献 102被引用 30

一句话总结

本文提出了一种新颖的几何与概率框架，利用Birkhoff多面体的黎曼结构实现多视角对应关系同步。提出了两种算法——Birkhoff-Riemannian L-BFGS用于最大后验估计，Birkhoff-RLMC用于不确定性感知采样，在合成数据集和真实数据集上实现了最先进的召回率与收敛速度，并生成了可靠的置信度图以用于异常值检测。

ABSTRACT

We present an entirely new geometric and probabilistic approach to synchronization of correspondences across multiple sets of objects or images. In particular, we present two algorithms: (1) Birkhoff-Riemannian L-BFGS for optimizing the relaxed version of the combinatorially intractable cycle consistency loss in a principled manner, (2) Birkhoff-Riemannian Langevin Monte Carlo for generating samples on the Birkhoff Polytope and estimating the confidence of the found solutions. To this end, we first introduce the very recently developed Riemannian geometry of the Birkhoff Polytope. Next, we introduce a new probabilistic synchronization model in the form of a Markov Random Field (MRF). Finally, based on the first order retraction operators, we formulate our problem as simulating a stochastic differential equation and devise new integrators. We show on both synthetic and real datasets that we achieve high quality multi-graph matching results with faster convergence and reliable confidence/uncertainty estimates.

研究动机与目标

• 为解决在多幅图像或3D形状之间实现全局一致性的多视角对应匹配挑战。
• 克服现有同步流水线中启发式或几何精化方法的局限性。
• 通过在Birkhoff多面体上进行后验采样，实现对应解的系统性不确定性估计。
• 利用近期发展的Birkhoff多面体黎曼几何，推动计算机视觉中组合优化的发展。
• 开发针对双随机矩阵非平凡流形结构的新型黎曼优化与采样算法。

提出的方法

• 提出一种基于马尔可夫随机场（MRF）的新概率模型，以形式化置换同步中的循环一致性。
• 将组合优化的置换问题松弛至Birkhoff多面体，即双随机矩阵的集合，从而实现连续优化。
• 应用带一阶重投影算子的黎曼L-BFGS算法，在Birkhoff多面体上执行最大后验（MAP）估计。
• 提出一种基于黎曼Langevin蒙特卡洛（RLMC）的新型测地线随机微分方程（SDE），用于后验采样。
• 开发一种定制的数值积分器，以一阶重投影替代难以计算的指数映射，实现在Birkhoff多面体上的高效采样。
• 利用采样的后验分布估计每个对应关系的置信度图，辅助异常值检测与解的精炼。

实验结果

研究问题

• RQ1 Birkhoff多面体的黎曼几何能否被有效利用以提升置换同步中的优化性能？
• RQ2 能否为多视角对应匹配构建一个具有不确定性量化能力的系统性概率模型？
• RQ3 黎曼优化方法在收敛速度与解的准确性方面是否优于现有方法？
• RQ4 尽管缺乏精确的指数映射，近似重投影是否能实现Birkhoff多面体上的有效采样以进行不确定性估计？
• RQ5 通过后验采样生成的置信度图是否能提升在初始误差存在情况下的对应匹配鲁棒性？

主要发现

• 所提出的Birkhoff-Riemannian L-BFGS算法在合成与真实数据集上均实现了比当前最先进方法更快的收敛速度与更高的召回率。
• 在Winebottle与Motorbike数据集上，召回率从初始的38.42%提升至优化后的39.08%，优于MatchEIG与Wang等人的方法，最高提升达6.2个百分点。
• 在Tosca 3D数据集上，N=50时召回率达到56.93%，N=20时达到40.33%，优于所有基线方法，包括Wang等与MatchEIG。
• Birkhoff-RLMC采样器成功探索了局部模态，并在Birkhoff多面体上生成了有效样本，且在采样过程中发现了更优解。
• 通过后验采样生成的置信度图能有效突出错误匹配，为初始估计的精炼提供了可能。
• 在低关键点密度条件下，Birkhoff多面体上的黎曼优化与采样集成展现出鲁棒性，尤其在初始对应关系退化时表现优异。