[论文解读] Structure from Motion for Panorama-Style Videos

Chris Sweeney, Aleksander Holynski+2 more|arXiv (Cornell University)|Jun 8, 2019

Advanced Vision and Imaging参考文献 30被引用 5

一句话总结

本文提出了一种用于全景视频采集的新型SfM流水线，可在无需预先内参标定的情况下重建精确的相机位姿。通过将相机运动建模为近似球形，作者提出了三种高效的极几何与畸变估计最小解算器，支持在软球形运动先验下实现鲁棒的初始化与捆绑调整——在现有SfM与SLAM系统完全失效的挑战性数据集上实现了成功重建。

ABSTRACT

We present a novel Structure from Motion pipeline that is capable of reconstructing accurate camera poses for panorama-style video capture without prior camera intrinsic calibration. While panorama-style capture is common and convenient, previous reconstruction methods fail to obtain accurate reconstructions due to the rotation-dominant motion and small baseline between views. Our method is built on the assumption that the camera motion approximately corresponds to motion on a sphere, and we introduce three novel relative pose methods to estimate the fundamental matrix and camera distortion for spherical motion. These solvers are efficient and robust, and provide an excellent initialization for bundle adjustment. A soft prior on the camera poses is used to discourage large deviations from the spherical motion assumption when performing bundle adjustment, which allows cameras to remain properly constrained for optimization in the absence of well-triangulated 3D points. To validate the effectiveness of the proposed method we evaluate our approach on both synthetic and real-world data, and demonstrate that camera poses are accurate enough for multiview stereo.

研究动机与目标

• 解决传统SfM与SLAM系统在旋转主导型全景视频序列中重建失败的问题。
• 实现在基线有限、视差较小的手持式未标定视频序列中的精确三维重建。
• 开发适用于球形相机运动的最小解算器，以提升基于RANSAC的位姿估计的鲁棒性与效率。
• 在捆绑调整中集成软球形运动先验，以在三维点三角化质量较差时仍能保持位姿约束。
• 展示利用恢复的相机位姿实现高质量多视角立体重建的可行性。

提出的方法

• 该方法将相机运动建模为近似球形，将相对位姿估计的自由度从一般情况下的5个减少至3个。
• 提出三种新颖的最小解算器，在球形运动假设下估计基础矩阵与相机畸变，所需对应点数量少于通用解算器。
• 这些解算器为基于RANSAC的特征匹配与位姿估计提供了快速且鲁棒的初始化。
• 在捆绑调整过程中施加相机位姿的软先验，以抑制偏离球形运动的偏差，从而在三角化质量差的场景中提升收敛性。
• 将这些解算器集成到完整的SfM系统中，实现无需预先相机标定的端到端处理，并支持10–20 Hz的实时重建。
• 使用GoPro与Google Pixel相机采集的合成与真实世界序列对系统进行评估，并与COLMAP、Theia及ORB-SLAM2进行对比。

实验结果

研究问题

• RQ1 SfM流水线能否在无需预先相机标定的情况下，成功重建旋转主导型全景视频序列的相机位姿？
• RQ2 球形运动建模在基线有限、旋转剧烈的场景中，如何提升相对位姿估计的鲁棒性与效率？
• RQ3 当三维点三角化不稳定时，软球形运动先验在多大程度上能提升捆绑调整的收敛性？
• RQ4 恢复的相机位姿能否在远距离或特征稀疏的场景中实现高质量的多视角立体重建？
• RQ5 现有SfM与SLAM系统为何在全景视频序列上失效？能否通过面向运动的专用解算器克服这些局限？

主要发现

• 所提方法在所有测试视频序列上均成功重建了相机位姿，包括存在显著径向畸变与远距离场景点的情况，而COLMAP、Theia与ORB-SLAM2则完全失败。
• 系统实现10–20 Hz的重建速率，支持全景视频的实时或近实时处理。
• 由于自由度减少，三种新型最小解算器在RANSAC中收敛更快，显著提升了效率与鲁棒性。
• 软球形运动先验使捆绑调整在缺乏良好三角化的三维点时仍能保持稳定，确保序列中位姿的一致性。
• 该流水线恢复的精确相机位姿支持高质量的多视角立体重建，包括细长物体等精细结构，如亚像素级深度图所示。
• 该方法通过精确建模视差，实现了深度感知的全景重建与VR就绪的三维场景，即使在以远距离特征为主导的场景中亦能实现。