[论文解读] Optimal Multi-view Correction of Local Affine Frames

Iván Eichhardt, Dániel Baráth|arXiv (Cornell University)|May 1, 2019

Robotics and Sensor-Based Localization参考文献 31被引用 4

一句话总结

本文提出了一种闭式解、最小二乘最优的方法，通过利用预先估计的对极几何，校正多视角下的局部仿射框架（LAFs）。通过施加相机运动带来的几何一致性，显著提升了SIFT和AKAZE等部分仿射协变检测器生成的LAFs的准确性，从而改善了如单应性、表面法线和位姿估计等下游任务的表现。

ABSTRACT

The technique requires the epipolar geometry to be pre-estimated between each image pair. It exploits the constraints which the camera movement implies, in order to apply a closed-form correction to the parameters of the input affinities. Also, it is shown that the rotations and scales obtained by partially affine-covariant detectors, e.g., AKAZE or SIFT, can be completed to be full affine frames by the proposed algorithm. It is validated both in synthetic experiments and on publicly available real-world datasets that the method always improves the output of the evaluated affine-covariant feature detectors. As a by-product, these detectors are compared and the ones obtaining the most accurate affine frames are reported. For demonstrating the applicability, we show that the proposed technique as a pre-processing step improves the accuracy of pose estimation for a camera rig, surface normal and homography estimation.

研究动机与目标

• 解决仿射协变特征检测器在多视角设置下生成的局部仿射框架（LAFs）不准确的问题。
• 通过利用预先估计的对极几何，强制实现不同视角间LAFs之间的几何一致性。
• 通过校正噪声LAFs，提升下游视觉任务（如单应性、表面法线和位姿估计）的可靠性。
• 评估并比较不同仿射协变检测器在生成准确LAFs方面的性能。
• 证明所提出的校正方法在几何视觉流水线中使用仿射框架时具有普遍适用性和显著优势。

提出的方法

• 该方法接收来自SIFT或AKAZE等检测器的输入LAFs，并利用闭式解最小化到对极约束的最小二乘误差，实现LAFs的校正。
• 强制要求两视角间对应LAFs之间的变换与对极几何（特别是基础矩阵）保持一致。
• 校正过程确保对极线的法向量在视角间变换时保持一致，缩放因子由基础矩阵推导得出。
• 该算法假设所有图像对之间的对极几何已预先估计，从而实现无需迭代优化的高效校正。
• 将EG-L2-Optimal方法扩展至多视角，实现所有成对关系的一致校正。
• 即使检测器仅部分估计LAFs（例如SIFT提供尺度和方向但不完整估计仿射形状），该方法仍能通过相机运动一致地补全LAFs。

实验结果

研究问题

• RQ1 闭式校正方法能否提升SIFT和AKAZE等部分仿射协变检测器生成的局部仿射框架（LAFs）的准确性？
• RQ2 在多视角设置下，施加对极几何约束如何影响LAFs的质量？
• RQ3 校正LAFs在多大程度上能提升单应性、表面法线和位姿估计等下游几何视觉任务的性能？
• RQ4 在结合所提出的校正方法时，哪种仿射协变检测器能生成最准确的LAFs？
• RQ5 该校正方法在多样化的现实世界数据集和任务中是否具备鲁棒性并具有普遍适用性？

主要发现

• 所提出的校正方法显著提升了所有评估检测器生成的LAFs准确性，其中结合Morel和Yu（2009）提出的视图合成器的AKAZE表现最佳。
• 在表面法线估计任务中，校正后的LAFs使在herzjesus-p8场景下达到小于5°角误差的特征数量提升了1.2倍，相比原始LAFs。
• 在KITTI数据集上进行相对运动估计时，校正后的LAFs将MSAC的迭代次数从28次减少至26次，LO+MSAC从23次减少至22次，提升了计算速度与鲁棒性。
• 内点比例从MSAC的59.0%提升至60.4%，LO+MSAC从74.8%提升至75.2%，表明基于RANSAC的估计具有一致性提升。
• 旋转误差与平移误差均降低：平均旋转误差从0.66°降至0.61°（MSAC），从0.45°降至0.38°（LO+MSAC）；平均平移误差从8.11°降至7.31°（MSAC），从5.00°降至4.18°（LO+MSAC）。
• 该方法在所有测试数据集和任务中均一致提升性能，证明其作为预处理步骤具有广泛适用性与可靠性。