[论文解读] PatchmatchNet: Learned Multi-View Patchmatch Stereo

Fangjinhua Wang, Silvano Galliani+3 more|arXiv (Cornell University)|Dec 2, 2020

Advanced Vision and Imaging参考文献 42被引用 23

一句话总结

PatchmatchNet 提出了一种端到端可训练的多尺度 Patchmatch 基础立体匹配方法，用可学习的自适应传播与评估机制替代了三维代价体积正则化，实现了在 DTU、Tanks & Temples 和 ETH3D 数据集上的最先进精度，同时比以往基于学习的方法至少快 2.5 倍，内存使用量减少一半。

ABSTRACT

We present PatchmatchNet, a novel and learnable cascade formulation of Patchmatch for high-resolution multi-view stereo. With high computation speed and low memory requirement, PatchmatchNet can process higher resolution imagery and is more suited to run on resource limited devices than competitors that employ 3D cost volume regularization. For the first time we introduce an iterative multi-scale Patchmatch in an end-to-end trainable architecture and improve the Patchmatch core algorithm with a novel and learned adaptive propagation and evaluation scheme for each iteration. Extensive experiments show a very competitive performance and generalization for our method on DTU, Tanks & Temples and ETH3D, but at a significantly higher efficiency than all existing top-performing models: at least two and a half times faster than state-of-the-art methods with twice less memory usage.

研究动机与目标

• 解决基于学习的多视角立体匹配（MVS）方法中三维代价体积正则化的高内存与计算开销问题。
• 将经典 Patchmatch 算法整合进端到端可微的深度学习框架，以提升效率与精度。
• 通过最小化内存使用量和运行时间，实现在资源受限设备上的高分辨率深度估计。
• 通过可学习的自适应采样策略，提升 Patchmatch 在遮挡、无纹理区域和深度不连续等挑战性场景下的鲁棒性。
• 设计一种从粗到精的级联架构，在保持低内存占用的同时逐步优化深度图。

提出的方法

• 提出一种新颖的级联多尺度 Patchmatch 框架，按从粗到精的分辨率阶段处理特征。
• 用可学习的自适应模块替代 Patchmatch 中固定的传播与代价评估机制，结合空间与深度加权以提升匹配性能。
• 使用分组相关性计算参考特征图中某像素与其候选采样点之间的特征相似性权重。
• 通过候选点与当前像素之间的反向深度差计算深度权重，并利用 Sigmoid 函数归一化，以降低大深度差异的影响。
• 在代价聚合过程中结合深度特征与可微采样策略进行可见性估计，以提升匹配的可靠性。
• 采用随机采样策略进行鲁棒训练，以增强模型对可见性不确定性问题的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 Patchmatch 算法能否被有效整合进端到端可训练的深度学习框架中，用于多视角立体匹配？
• RQ2 可学习的自适应传播与评估机制是否能提升 Patchmatch 在复杂视觉条件下的精度与鲁棒性？
• RQ3 用基于 Patchmatch 的级联结构替代三维代价体积正则化，是否能在不损失性能的前提下降低内存占用与运行时间？
• RQ4 该方法在包含无纹理区域与非朗伯表面等不同挑战的多样化数据集上是否具备良好的泛化能力？
• RQ5 与单阶段推理相比，从粗到精的级联架构在多大程度上提升了深度估计的精度与完整性？

主要发现

• PatchmatchNet 在 DTU、Tanks & Temples 和 ETH3D 基准测试中表现优异，其在 DTU 评估集最细阶段的平均误差为 0.441 mm。
• 该方法将内存使用量减少了约 50%，且运行速度至少比最先进基于学习的 MVS 模型快 2.5 倍。
• 多阶段框架逐步提升重建质量，DTU 数据集上整体误差从第 0 阶段的 0.352 mm 降低至第 3 阶段的 0.564 mm，表明在更精细尺度下精度与完整性均得到改善。
• 自适应传播与评估策略成功调整采样模式：在物体边界区域聚焦于局部区域，而在无纹理区域则扩展至更大上下文区域。
• 可视化结果表明，模型能从相关区域采样，避免深度不连续区域，并在模糊区域增强匹配可靠性。
• 该模型在真实世界数据集（如 Tanks & Temples 和 ETH3D）上泛化良好，展现出对光照变化、无纹理表面及复杂几何结构的鲁棒性。