[论文解读] Point-Based Multi-View Stereo Network

Rui Chen, Songfang Han+2 more|arXiv (Cornell University)|Aug 12, 2019

Advanced Vision and Imaging参考文献 31被引用 6

一句话总结

Point-MVSNet 提出了一种新颖的基于点的深度学习框架，用于多视角立体重建，直接处理三维点云而非三维代价体积。通过利用几何先验和多视角图像特征，PointFlow 模块迭代地对初始粗略深度图进行细化，以预测深度残差，该方法在 DTU 和 Tanks and Temples 基准测试中实现了最先进水平的精度与效率，同时在完整性和重建质量方面均有提升。

ABSTRACT

We introduce Point-MVSNet, a novel point-based deep framework for multi-view stereo (MVS). Distinct from existing cost volume approaches, our method directly processes the target scene as point clouds. More specifically, our method predicts the depth in a coarse-to-fine manner. We first generate a coarse depth map, convert it into a point cloud and refine the point cloud iteratively by estimating the residual between the depth of the current iteration and that of the ground truth. Our network leverages 3D geometry priors and 2D texture information jointly and effectively by fusing them into a feature-augmented point cloud, and processes the point cloud to estimate the 3D flow for each point. This point-based architecture allows higher accuracy, more computational efficiency and more flexibility than cost-volume-based counterparts. Experimental results show that our approach achieves a significant improvement in reconstruction quality compared with state-of-the-art methods on the DTU and the Tanks and Temples dataset. Our source code and trained models are available at https://github.com/callmeray/PointMVSNet .

研究动机与目标

• 解决基于 3D 卷积神经网络的代价体积方法在多视角立体重建中带来的高内存与计算成本问题。
• 通过直接处理点云而非固定分辨率的三维体积，提升重建精度与效率。
• 通过聚焦于感兴趣区域，实现对点云的灵活、自适应细化。
• 动态结合三维几何结构与二维纹理线索，实现鲁棒的深度预测。
• 支持聚焦深度推理，以提升实时或交互式应用中的计算效率。

提出的方法

• 该方法首先使用轻量级的 3D 代价体积生成粗略深度图，随后将其转换为初始点云。
• 提出一种新型的 PointFlow 模块，通过预测当前深度与真实深度之间的残差，迭代地对点云进行细化。
• PointFlow 模块将当前点云中的 3D 几何先验与从多视角图像中动态获取的 2D 图像特征融合，以估计每个点的 3D 流量。
• 通过边缘卷积和多尺度特征金字塔处理增强表示学习的特征点云。
• 网络采用自粗到精的策略，仅对相关表面区域应用细化，从而提高计算效率。
• 通过选择性地仅对点云中的感兴趣区域进行细化，该架构支持聚焦深度推理。

实验结果

研究问题

• RQ1 基于点的深度学习框架是否能在多视角立体重建中，于精度与效率方面超越基于代价体积的方法？
• RQ2 与直接回归相比，对点云进行迭代残差细化在多大程度上能提升深度预测性能？
• RQ3 在基于点云的 MVS 网络中，几何先验与多视角纹理线索在多大程度上可以被联合利用？
• RQ4 所提出的方法是否能支持聚焦深度推理，从而在交互式或机器人视觉系统中实现计算节省？
• RQ5 PointFlow 模块在包括复杂户外环境在内的多样化场景中，其泛化能力如何？

主要发现

• 在 DTU 数据集上，Point-MVSNet 的平均重建误差为 0.391 mm，显著优于 PU-Net 的 0.943 mm，展现出更高的精度。
• 在 Tanks and Temples 数据集上，经过细化后，f-score 从 43.48 提升至 48.27，排名从 13.12 降低至 7.25，表明重建质量得到显著改善。
• 当初始深度图受到高达 6mm 高斯噪声污染时，该方法的重建误差相比 MVSNet 减少了 70%以上。
• 消融实验证实，使用图像特征金字塔、边缘卷积和欧几里得分组是必不可少的，移除任一组件均会导致性能显著下降。
• PointFlow 模块在具有挑战性的户外场景中表现出良好的泛化能力，在 Tanks and Temples 中间基准测试中持续实现性能提升。
• 该框架通过选择性地仅对感兴趣区域进行细化，实现了聚焦深度推理，在保持高精度的同时显著降低了计算负载。