[论文解读] Rolling Shutter Camera Relative Pose: Generalized Epipolar Geometry

Yuchao Dai, Hongdong Li+1 more|arXiv (Cornell University)|May 2, 2016

Advanced Vision and Imaging参考文献 26被引用 13

一句话总结

本文通过推导线性与均匀滚动快门模型对应的广义5×5和7×7本质矩阵，提出了一套统一的几何框架，用于滚动快门相机的相对位姿估计。该框架建立了具有高阶对极曲线的新对极几何，开发了基于Sampson误差最小化的线性与非线性求解器，并在合成与真实滚动快门数据集上显著提升了相对于全局快门假设的位姿估计精度。

ABSTRACT

The vast majority of modern consumer-grade cameras employ a rolling shutter mechanism. In dynamic geometric computer vision applications such as visual SLAM, the so-called rolling shutter effect therefore needs to be properly taken into account. A dedicated relative pose solver appears to be the first problem to solve, as it is of eminent importance to bootstrap any derivation of multi-view geometry. However, despite its significance, it has received inadequate attention to date. This paper presents a detailed investigation of the geometry of the rolling shutter relative pose problem. We introduce the rolling shutter essential matrix, and establish its link to existing models such as the push-broom cameras, summarized in a clean hierarchy of multi-perspective cameras. The generalization of well-established concepts from epipolar geometry is completed by a definition of the Sampson distance in the rolling shutter case. The work is concluded with a careful investigation of the introduced epipolar geometry for rolling shutter cameras on several dedicated benchmarks.

研究动机与目标

• 为动态几何计算机视觉中滚动快门相机专用的相对位姿求解器缺失问题提供解决方案。
• 形式化滚动快门相机的对极几何，其因时间变化的扫描线采集而偏离标准针孔模型。
• 推导出能捕捉滚动快门成像非中心投影特性的广义本质矩阵（5×5与7×7）。
• 为滚动快门几何下的相对位姿估计开发高效线性与非线性求解器。
• 在合成与真实滚动快门数据集上验证该框架，证明其相对于全局快门假设的优越性。

提出的方法

• 基于时间变化的扫描线投影模型，推导出线性滚动快门相机的5×5广义本质矩阵与均匀滚动快门相机的7×7矩阵。
• 提出一种广义对极几何，其中对极线退化为高阶曲线（如圆锥曲线或三次曲线），与标准对极几何中的直线形成对比。
• 建立一种滚动快门专用的Sampson距离，作为非线性优化中的几何误差度量。
• 开发了适用于线性滚动快门相机的20点线性算法与适用于均匀滚动快门相机的44点线性算法，实现高效的初始位姿估计。
• 提出基于最小点数的非线性求解器，通过最小化广义Sampson误差，适用于基于RANSAC的鲁棒估计。
• 将框架扩展至线性与均匀推扫式相机，形成广义本质矩阵的统一层级结构。

实验结果

研究问题

• RQ1 如何将滚动快门相机的对极几何形式化推广，超越标准的3×3本质矩阵？
• RQ2 线性和均匀滚动快门模型的合适广义本质矩阵是什么？它们与现有多视角相机模型有何关联？
• RQ3 能否为滚动快门几何下的相对位姿估计构建高效线性与非线性求解器？
• RQ4 在真实与合成数据上，所提出的滚动快门模型相较于全局快门假设，在重投影误差与位姿精度方面表现如何？
• RQ5 广义Sampson距离在实现滚动快门相对位姿鲁棒优化中起到何种作用？

主要发现

• 所提出的5×5与7×7广义本质矩阵为计算机视觉文献中此前未报道的原创性贡献。
• 滚动快门对极几何导致线性RS为2次（圆锥曲线）对极曲线，均匀RS为3次（三次曲线）对极曲线，与标准对极几何中的直线显著不同。
• 线性RS相机的20点线性算法与均匀RS相机的44点线性算法，以最少输入实现了高效的初始位姿估计。
• 基于Sampson误差最小化的非线性求解器在合成与真实滚动快门数据集上，相较于全局快门模型显著提升了旋转估计精度。
• 在RSBA数据集的真实滚动快门图像对中，滚动快门模型在图像平面各区域均匀降低了重投影误差，而全局快门模型未能有效处理动态区域的畸变。
• Sampson误差的直方图显示，使用所提出的滚动快门模型后误差普遍降低，证实了其更优的几何一致性。