[论文解读] SimpleRecon: 3D Reconstruction Without 3D Convolutions

Mohamed Sayed, John Gibson+4 more|arXiv (Cornell University)|Aug 31, 2022

Advanced Vision and Imaging被引用 5

一句话总结

SimpleRecon 通过使用 2D 卷积神经网络（CNN）和通过多层感知机（MLP）增强的平面扫掠代价体积，实现了无需 3D 卷积的 SOTA 级 3D 重建。该方法在深度估计和重建精度方面优于先前的方法，同时可在资源受限设备上实现实时、低内存推理。

ABSTRACT

Traditionally, 3D indoor scene reconstruction from posed images happens in two phases: per-image depth estimation, followed by depth merging and surface reconstruction. Recently, a family of methods have emerged that perform reconstruction directly in final 3D volumetric feature space. While these methods have shown impressive reconstruction results, they rely on expensive 3D convolutional layers, limiting their application in resource-constrained environments. In this work, we instead go back to the traditional route, and show how focusing on high quality multi-view depth prediction leads to highly accurate 3D reconstructions using simple off-the-shelf depth fusion. We propose a simple state-of-the-art multi-view depth estimator with two main contributions: 1) a carefully-designed 2D CNN which utilizes strong image priors alongside a plane-sweep feature volume and geometric losses, combined with 2) the integration of keyframe and geometric metadata into the cost volume which allows informed depth plane scoring. Our method achieves a significant lead over the current state-of-the-art for depth estimation and close or better for 3D reconstruction on ScanNet and 7-Scenes, yet still allows for online real-time low-memory reconstruction. Code, models and results are available at https://nianticlabs.github.io/simplerecon

研究动机与目标

• 解决 3D 卷积在 3D 重建中的高计算成本问题，特别是在移动设备等资源受限环境中的应用。
• 重新审视传统的两阶段 3D 重建流程（先深度估计后融合），通过提升深度质量而非依赖昂贵的 3D 卷积来改进性能。
• 通过在代价体积中注入强 2D CNN、几何先验和图像特定元数据，提升多视角深度估计的准确性。
• 证明仅通过高质量的深度预测即可实现与端到端 3D 体素方法相当或更优的 3D 重建性能。
• 通过聚焦于深度质量而非复杂的 3D 特征学习，实现实时、在线的 3D 重建，使用现成的 TSDF 融合方法。

提出的方法

• 使用带有图像先验和基于平面扫掠的 3D 特征体积的 2D CNN，从多张输入图像中估计深度。
• 通过多级 MLP 将关键帧和几何元数据（如姿态距离、射线方向、角度、深度和掩码）整合到代价体积中，以实现更智能的深度平面评分。
• 采用基于点积的代价体积压缩方法，使用 16 或 64 个特征通道，通过网络架构选择和训练损失进行优化。
• 应用几何损失和图像级监督，以提升跨视角的深度准确性和一致性。
• 使用现成的 TSDF 融合方法进行 3D 表面重建，避免使用 3D 卷积或复杂的体素学习。
• 通过基于姿态的帧排序方式，集成最多 8 个源视角，以提升深度估计的鲁棒性和准确性。

实验结果

研究问题

• RQ1 通过聚焦于改进深度估计，是否可以在不使用 3D 卷积的情况下实现高精度 3D 重建？
• RQ2 将几何和关键帧元数据注入代价体积对深度预测精度有何影响？
• RQ3 2D CNN 搭配平面扫掠代价体积在深度和重建质量方面，与基于 3D 卷积的方法相比，其性能提升程度如何？
• RQ4 在真实场景中，采用 2D 网络和标准融合的“回归基础”方法是否能超越端到端 3D 体素学习方法？
• RQ5 该方法是否能泛化到非受限、随意拍摄的数据（包括户外场景和智能手机拍摄的视频）？

主要发现

• SimpleRecon 在 ScanNetv2 数据集上实现了新的 SOTA 深度估计性能，绝对差值（Abs Diff）为 0.0885，且 delta < 1.05 的准确率为 73.16%。
• 该方法在使用现成 TSDF 融合的 ScanNet 和 7-Scenes 数据集中，达到或超过当前 3D 重建的 SOTA 水平，Chamfer 距离为 5.81，F-score 为 67.1。
• 消融实验表明，将元数据（如姿态距离、射线方向、深度和掩码）加入代价体积后，与基线相比，Abs Diff 降低了 0.0056，显著提升了精度。
• 使用 8 个有序帧而非 2 个帧，可使 delta < 1.05 的得分从 57.15% 提升至 73.16%，表明在更多视角下具有出色的可扩展性。
• 该方法在未见过的数据上泛化良好，包括户外场景和智能手机拍摄的视频，在实时条件下生成高质量网格重建。
• 移除代价体积（即退化为单目）会使性能急剧下降（Abs Diff = 0.1742），证明多视角代价体积对尺度感知深度估计的必要性。