[论文解读] Multi-Scale Geometric Consistency Guided Multi-View Stereo

Qingshan Xu, Wenbing Tao|arXiv (Cornell University)|Apr 17, 2019

Advanced Vision and Imaging参考文献 34被引用 16

一句话总结

本文提出ACMM，一种基于多尺度几何一致性引导的多视角立体匹配方法，可显著提升低纹理区域与细节丰富区域的深度估计精度。通过结合自适应棋盘采样、多假设联合视图选择以及多尺度引导与细节恢复模块，ACMM在ETH3D数据集上实现了最先进（SOTA）的精度与完整性表现，同时保持高效率，其速度与质量均优于COLMAP与Gipuma等先前方法。

ABSTRACT

In this paper, we propose an efficient multi-scale geometric consistency guided multi-view stereo method for accurate and complete depth map estimation. We first present our basic multi-view stereo method with Adaptive Checkerboard sampling and Multi-Hypothesis joint view selection (ACMH). It leverages structured region information to sample better candidate hypotheses for propagation and infer the aggregation view subset at each pixel. For the depth estimation of low-textured areas, we further propose to combine ACMH with multi-scale geometric consistency guidance (ACMM) to obtain the reliable depth estimates for low-textured areas at coarser scales and guarantee that they can be propagated to finer scales. To correct the erroneous estimates propagated from the coarser scales, we present a novel detail restorer. Experiments on extensive datasets show our method achieves state-of-the-art performance, recovering the depth estimation not only in low-textured areas but also in details.

研究动机与目标

• 解决在纹理缺失区域中，由于匹配可靠性下降而导致深度估计不准确的挑战。
• 通过利用结构化区域信息与自适应采样，提升扩散式传播中的视图选择鲁棒性。
• 通过利用粗尺度的可靠估计，基于几何一致性在更细尺度上提升深度估计精度。
• 通过基于差异图的细节恢复模块，恢复粗到细上采样过程中丢失的精细细节。
• 在保持高计算效率的同时，实现最先进的深度估计性能。

提出的方法

• 提出自适应棋盘采样（ACS），基于结构化区域信息动态选择更优的候选假设，从而提升传播质量。
• 提出多假设联合视图选择（MH-JVS），采用投票机制，为每个像素在多个假设下推断一致且高置信度的视图子集。
• 使用多尺度图像金字塔在粗尺度上估计深度，利用纹理更丰富的区域提升低纹理区域的可靠性。
• 在细尺度上利用粗尺度的深度估计施加几何一致性约束，以优化匹配并减少误差。
• 设计细节恢复模块，通过利用相邻尺度间的光度一致性差异，恢复在上采样过程中丢失的精细深度细节。
• 采用统一的PatchMatch立体匹配流程，结合顺序传播与高效的GPU优化计算，实现高速推理。

实验结果

研究问题

• RQ1 基于结构化区域信息的自适应采样能否提升多视角立体匹配中的视图选择与传播性能？
• RQ2 结合几何一致性引导的多尺度深度估计能否提升低纹理区域的可靠性？
• RQ3 基于尺度间光度一致性的细节恢复模块能否有效恢复粗到细传播过程中丢失的精细细节？
• RQ4 将多假设联合视图选择与多尺度几何一致性相结合，能否实现深度估计的SOTA性能？
• RQ5 所提方法能否在实现卓越精度与完整性的同时，保持高效率？

主要发现

• 在ETH3D室内基准测试中，ACMM取得92.96的最高F1分数，显著优于COLMAP（90.40）与Gipuma（87.86）。
• 在室外数据集上，ACMM取得94.35的F1分数，超越ACMH（93.87）与COLMAP（93.79），表明在复杂场景中具有更强的完整性。
• ACMM通过利用多尺度几何一致性，显著降低低纹理区域的深度估计误差，生成更完整且精确的点云。
• 与COLMAP相比，ACMM实现3倍加速，与Gipuma相比提速6倍，通过高效的GPU优化计算保持高性能。
• 定性结果表明，细节恢复模块能有效恢复精细结构，图6中红框区域显示ACMM生成的点云更完整。
• ACMM在ETH3D室内与室外数据集的所有指标（精度、完整性、F1）上均达到SOTA表现，验证了其鲁棒性与泛化能力。