[论文解读] Pyramid Multi-view Stereo Net with Self-adaptive View Aggregation

Hongwei Yi, Zizhuang Wei+5 more|arXiv (Cornell University)|Dec 6, 2019

Advanced Vision and Imaging参考文献 45被引用 8

一句话总结

该论文提出PVA-MVSNet，一种具有自适应视图聚合的金字塔多视角立体网络，提升了深度估计精度与3D重建的完整性。通过在像素级和体素级上学习视图特定的重要性，并利用多度量金字塔聚合，该方法在DTU数据集上实现了0.357的整体误差，达到最先进性能，同时在Tanks and Temples上保持了出色的泛化能力。

ABSTRACT

n this paper, we propose an effective and efficient pyramid multi-view stereo (MVS) net with self-adaptive view aggregation for accurate and complete dense point cloud reconstruction. Different from using mean square variance to generate cost volume in previous deep-learning based MVS methods, our extbf{VA-MVSNet} incorporates the cost variances in different views with small extra memory consumption by introducing two novel self-adaptive view aggregations: pixel-wise view aggregation and voxel-wise view aggregation. To further boost the robustness and completeness of 3D point cloud reconstruction, we extend VA-MVSNet with pyramid multi-scale images input as extbf{PVA-MVSNet}, where multi-metric constraints are leveraged to aggregate the reliable depth estimation at the coarser scale to fill in the mismatched regions at the finer scale. Experimental results show that our approach establishes a new state-of-the-art on the extsl{ extbf{DTU}} dataset with significant improvements in the completeness and overall quality, and has strong generalization by achieving a comparable performance as the state-of-the-art methods on the extsl{ extbf{Tanks and Temples}} benchmark. Our codebase is at \hyperlink{https://github.com/yhw-yhw/PVAMVSNet}{https://github.com/yhw-yhw/PVAMVSNet}

研究动机与目标

• 解决现有基于深度学习的MVS方法在处理匹配模糊性和不完整3D重建方面的局限性。
• 通过在多视角代价体中学习视图特定的重要性，提升深度估计的鲁棒性与完整性。
• 通过多度量约束融合多尺度深度图，提升重建质量。
• 开发一种高效、端到端的框架，无需微调即可在多样化基准上实现良好泛化。

提出的方法

• 引入两种自适应视图聚合模块——像素级与体素级——根据其方差动态加权来自不同视图的代价体，实现无需假设贡献相等的自适应融合。
• 采用金字塔多尺度图像输入策略，以并行方式生成多分辨率的深度图，提升特征表示能力与鲁棒性。
• 应用多度量约束（光度一致性和几何一致性）将来自粗尺度的可靠深度估计聚合至细尺度深度图，以修正错误区域。
• 使用深度图估计器从3D代价体生成最终深度图，并通过自适应融合进行特征正则化，以抑制噪声与异常值。
• 并行处理多尺度特征，避免顺序优化，最小化尺度聚合过程中的量化误差。
• 利用基于SfM的视图排序引导自适应模块，优先选择高质量的邻近视图，抑制远距离或低质量视图。

实验结果

研究问题

• RQ1 自适应视图聚合能否通过基于可靠性和方差的动态加权视图，提升深度估计精度？
• RQ2 结合多度量约束的多尺度金字塔聚合如何增强3D重建的完整性与鲁棒性？
• RQ3 所提方法是否能在无需微调的情况下，泛化至DTU与Tanks and Temples等多样化基准？
• RQ4 输入视图数量与金字塔层级数的变化对重建质量与效率有何影响？
• RQ5 与现有最先进MVS网络相比，该方法在内存占用与推理时间上的表现如何？

主要发现

• PVA-MVSNet在DTU数据集上实现了新的最先进性能，整体误差为0.357毫米，显著优于先前方法。
• 与VA-MVSNet（0.369毫米）相比，整体误差降低0.012毫米，证明了多度量金字塔聚合的有效性。
• 通过多度量金字塔深度聚合，完整性平均提升7.0%，而精度仅轻微下降0.39%。
• 测试中使用五个输入视图时性能最佳，额外视图（最多七个）带来的提升微乎其微，表明自适应聚合实现了有效的视图选择。
• 该模型保持了强大的泛化能力，在Tanks and Temples基准上无需任何微调即可达到与最先进方法相当的性能。
• PVA-MVSNet每视图推理时间为1.01秒，内存占用24.87GB，仅比VA-MVSNet多0.1秒，表明多尺度特征的并行处理高效。