[论文解读] PHI-MVS: Plane Hypothesis Inference Multi-view Stereo for Large-Scale Scene Reconstruction

Shang Sun, Yunan Zheng+3 more|arXiv (Cornell University)|Apr 13, 2021

Advanced Vision and Imaging参考文献 33被引用 5

一句话总结

PHI-MVS 提出了一种新颖的多视角立体视觉流水线，通过在滤波后的深度图上利用马尔可夫随机场（MRF）生成并选择平面假设，从而改善无纹理区域的重建效果，同时采用类似空洞卷积的方案加速立体匹配。该方法在 ETH3D 域基准测试中实现了最先进性能，仅带来适度的计算时间增加。

ABSTRACT

PatchMatch based Multi-view Stereo (MVS) algorithms have achieved great success in large-scale scene reconstruction tasks. However, reconstruction of texture-less planes often fails as similarity measurement methods may become ineffective on these regions. Thus, a new plane hypothesis inference strategy is proposed to handle the above issue. The procedure consists of two steps: First, multiple plane hypotheses are generated using filtered initial depth maps on regions that are not successfully recovered; Second, depth hypotheses are selected using Markov Random Field (MRF). The strategy can significantly improve the completeness of reconstruction results with only acceptable computing time increasing. Besides, a new acceleration scheme similar to dilated convolution can speed up the depth map estimating process with only a slight influence on the reconstruction. We integrated the above ideas into a new MVS pipeline, Plane Hypothesis Inference Multi-view Stereo (PHI-MVS). The result of PHI-MVS is validated on ETH3D public benchmarks, and it demonstrates competing performance against the state-of-the-art.

研究动机与目标

• 解决基于 PatchMatch 的 MVS 在重建无纹理平面时因相似性度量无效而导致的失败问题。
• 在不显著增加计算成本的前提下，提升低纹理区域的 3D 重建完整性。
• 开发一种高效的立体匹配加速方案，在保持精度的同时减少运行时间。
• 将平面假设推断与加速技术整合为一个实用的、端到端的 MVS 流水线。

提出的方法

• 在立体匹配效果较差的区域，从滤波后的初始深度图中生成多个平面假设。
• 利用马尔可夫随机场（MRF）为每个像素选择最优深度假设，利用空间一致性和平滑性。
• 在 MRF 推断后应用几何一致性过滤以去除异常值。
• 在立体匹配过程中采用类似空洞卷积的采样策略，以减少内存访问并加速计算。
• 基于 PatchMatch，采用两阶段深度初始化与空间传播过程，实现高效的立体匹配。
• 使用单次迭代的 TRW 解码方法对 MRF 进行 MAP 推断，以提高效率。

实验结果

研究问题

• RQ1 平面假设推断是否能显著提升无纹理区域的 3D 重建完整性？
• RQ2 基于 MRF 的假设选择是否优于简单的代价最小化方法？
• RQ3 类似空洞卷积的采样方案能否在损失极小的情况下有效加速立体匹配？
• RQ4 所提出的 PHI-MVS 流水线在大规模基准测试中与最先进 MVS 方法相比表现如何？

主要发现

• 在 ETH3D 训练集上，PHI-MVS 在所有容差水平（1cm 至 10cm）下均取得了最高的平均 F1 分数，优于未使用 MRF 或 PHI 模块的变体。
• 额外的 PHI 模块仅使运行时间增加约 9 秒，其中图构建步骤是最耗时的部分。
• 类似空洞卷积的加速方案将深度图估计时间减少了最多 30%，同时在 10cm 容差下仅导致 F1 分数下降 0.5%。
• 在 ETH3D 高分辨率测试集上，PHI-MVS 在准确性和完整性方面均达到最先进水平，5/5 配置下的 F1 分数分别为：1cm 时 69.17，2cm 时 82.28，5cm 时 91.80，10cm 时 95.63。
• 将图像下采样至 1/4 分辨率导致 1cm 容差下的 F1 分数下降 11.67 分，证实了所提加速方案相较于下采样更具有效性。
• 该方法在各类场景中保持鲁棒性，尤其在具有丰富平面结构的室内环境中表现优异。