[论文解读] Plan3D: Viewpoint and Trajectory Optimization for Aerial Multi-View Stereo Reconstruction

Benjamin Hepp, Matthias Nießner+1 more|arXiv (Cornell University)|May 25, 2017

Advanced Vision and Imaging被引用 26

一句话总结

Plan3D 提出了一套面向消费级四旋翼无人机的端到端空中三维重建系统，通过优化视角与轨迹，在满足飞行时间与碰撞约束的前提下最大化信息增益。该系统采用分层体素表示法与子模优化方法，选择稀疏但高影响力的视角，从而实现对复杂建筑几何结构（包括凹陷区域与精细细节）的高质量重建，优于常规扫描模式与先前的最先进方法。

ABSTRACT

We introduce a new method that efficiently computes a set of viewpoints and trajectories for high-quality 3D reconstructions in outdoor environments. Our goal is to automatically explore an unknown area, and obtain a complete 3D scan of a region of interest (e.g., a large building). Images from a commodity RGB camera, mounted on an autonomously navigated quadcopter, are fed into a multi-view stereo reconstruction pipeline that produces high-quality results but is computationally expensive. In this setting, the scanning result is constrained by the restricted flight time of quadcopters. To this end, we introduce a novel optimization strategy that respects these constraints by maximizing the information gain from sparsely-sampled view points while limiting the total travel distance of the quadcopter. At the core of our method lies a hierarchical volumetric representation that allows the algorithm to distinguish between unknown, free, and occupied space. Furthermore, our information gain based formulation leverages this representation to handle occlusions in an efficient manner. In addition to the surface geometry, we utilize the free-space information to avoid obstacles and determine collision-free flight paths. Our tool can be used to specify the region of interest and to plan trajectories. We demonstrate our method by obtaining a number of compelling 3D reconstructions, and provide a thorough quantitative evaluation showing improvement over previous state-of-the-art and regular patterns.

研究动机与目标

• 解决使用飞行时间有限的消费级四旋翼无人机对大型复杂建筑进行高质量三维重建的挑战。
• 克服常规网格或圆形飞行模式的局限性，这些模式往往无法捕捉被遮挡或凹陷区域，且缺乏对立体匹配质量的优化。
• 开发一种全自动、端到端的系统，基于初始粗略扫描规划无碰撞、信息量最大的视角巡游路径。
• 通过使用近似相机模型与子模优化，在计算效率与重建质量之间实现平衡。
• 实现对建筑尺度场景的自主扫描，最大限度减少人工干预，并提升几何细节与被遮挡区域的覆盖度。

提出的方法

• 该方法使用分层体素表示法区分未知、自由与被占据空间，从而实现安全且智能的轨迹规划。
• 将视角选择建模为子模优化问题，以在最小化移动距离的同时最大化信息增益（IG），确保计算上的可处理性。
• 采用近似相机模型将视角贡献解耦，从而能够独立高效地计算每个候选视角的期望信息增益。
• 通过将运动限制在已知自由空间内，系统规划出无碰撞的轨迹，确保执行过程的完全自主性。
• 整合来自SfM与MVS流程的领域知识，例如偏好正对平行视角与最优基线，以提升匹配质量。
• 该流程首先处理初始粗略扫描，计算最优视角，随后利用标准SfM与MVS流程执行最终的高分辨率重建。

实验结果

研究问题

• RQ1 如何自动规划空中三维重建的视角巡游路径，以在满足飞行时间与安全约束的前提下，最大化场景覆盖率与几何细节？
• RQ2 在使用近似相机模型的前提下，子模优化在多大程度上能够实现与常规飞行模式相当或更优的高质量重建？
• RQ3 两阶段扫描方法（初始粗略扫描后接优化后的高分辨率采集）是否能优于单次扫描或常规模式方法？
• RQ4 该系统如何处理建筑尺度场景中的遮挡与复杂几何结构（如凹陷门廊与悬垂结构）？
• RQ5 视角规划对最终重建质量的影响如何，特别是在精细几何细节与纹理保真度方面？

主要发现

• 在合成与真实场景的定量评估中，Plan3D 在覆盖度与重建质量方面均优于常规网格状扫描模式与先前的最先进方法。
• 该方法成功捕捉了传统俯视扫描模式常遗漏的复杂建筑特征，如凹陷门廊、屋顶与悬垂结构。
• 结合近似相机模型的子模优化可高效计算高影响力视角，显著减少移动距离，同时最大化可观测未知空间。
• 系统在最终重建中实现了高保真的几何与纹理细节，即使在如门廊下方等复杂光照条件下亦表现良好。
• 两阶段方法（初始粗略扫描后接优化轨迹规划）的重建效果显著优于单阶段或常规模式方法，尽管需要最多60分钟的离线计算时间。
• 该方法在多种环境中表现出鲁棒性，包括文艺复兴教堂、现代办公楼与历史建筑，所有测试案例中均一致提升了重建质量。