[论文解读] Panoramic Structure from Motion via Geometric Relationship Detection

Satoshi Ikehata, Ivaylo Boyadzhiev+2 more|arXiv (Cornell University)|Dec 5, 2016

Advanced Vision and Imaging参考文献 3被引用 3

一句话总结

本文提出了一种新颖的全景室内图像流SfM方法，通过融合单视角与多视角重建，利用几何关系检测实现——具体而言，是利用深度图像到法线网络获得的粗略表面法线估计，检测三维空间中共面的2D直线。检测到的共面性约束被整合进基于线的线性SfM公式中，采用约束最小二乘法求解，随后进行捆绑调整，相较于最先进的SfM与SLAM系统，在具有挑战性的低纹理、小基线全景数据集上实现了更优性能。

ABSTRACT

This paper addresses the problem of Structure from Motion (SfM) for indoor panoramic image streams, extremely challenging even for the state-of-the-art due to the lack of textures and minimal parallax. The key idea is the fusion of single-view and multi-view reconstruction techniques via geometric relationship detection (e.g., detecting 2D lines as coplanar in 3D). Rough geometry suffices to perform such detection, and our approach utilizes rough surface normal estimates from an image-to-normal deep network to discover geometric relationships among lines. The detected relationships provide exact geometric constraints in our line-based linear SfM formulation. A constrained linear least squares is used to reconstruct a 3D model and camera motions, followed by the bundle adjustment. We have validated our algorithm on challenging datasets, outperforming various state-of-the-art reconstruction techniques.

研究动机与目标

• 解决在极小基线与低纹理条件下，标准SfM与SLAM方法失效的全景室内图像流3D重建挑战。
• 通过利用检测到的关系所蕴含的几何先验，弥合粗略单视角重建与精确多视角SfM之间的差距。
• 通过检测共面线关系，提升在纹理贫乏、以旋转为主的全景序列中的重建精度与鲁棒性。
• 仅使用标准智能手机或平板相机，实现高质量的室内环境3D建模，无需专用硬件。

提出的方法

• 利用深度图像到法线网络获得的粗略表面法线估计，检测几何关系（如2D直线的共面性）。
• 将检测到的共面性关系表达为线性几何约束，构建基于线的SfM问题。
• 通过约束线性最小二乘法求解SfM问题，以估计3D结构与相机运动。
• 应用捆绑调整对初始解进行优化，提升精度。
• 将检测到的关系作为精确几何约束，以在低纹理、低基线场景中稳定重建过程。
• 融合单视角几何先验（如地板/天花板检测）与多视角优化，以增强鲁棒性。

实验结果

研究问题

• RQ1 能否利用深度学习获得的表面法线，在全景室内图像流中可靠检测到2D直线之间的共面性？
• RQ2 如何有效将单视角几何先验整合进多视角SfM框架中，以提升在低纹理、小基线场景下的重建性能？
• RQ3 与最先进的SfM与SLAM系统相比，单视角与多视角技术的融合在具有挑战性的全景数据集上，能在多大程度上提升3D重建精度？
• RQ4 在全景SfM中，准确的相机平移估计对于获得干净、无伪影的3D模型有多关键？

主要发现

• 所提方法在具有挑战性的全景室内数据集上，优于多种最先进的SfM与SLAM系统，尤其在低纹理与小基线条件下表现更优。
• 在Living Room与Bedroom等数据集上，所提方法的重投影误差始终为OpenMVG（顶级全局SfM系统）的数倍以下。
• 强制设置零相机平移（模拟单视角重建）会导致3D模型显著退化，证明了准确平移估计的关键作用。
• 该方法成功在其他SfM系统因特征轨迹过短与特征稀疏而失败或产生不完整结果的数据集上，重建出近乎完整的3D模型。
• 利用深度学习获得的表面法线，即使在纹理贫乏区域也能可靠检测共面性关系，为构建鲁棒几何约束提供了基础。
• 通过检测到的关系整合几何先验，其生成的3D重建比仅依赖特征匹配或单视角深度估计更准确、更稳定。