[论文解读] RigNet: Repetitive Image Guided Network for Depth Completion

Zhiqiang Yan, Kun Wang+4 more|arXiv (Cornell University)|Jul 29, 2021

Advanced Vision and Imaging参考文献 63被引用 5

一句话总结

RigNet 提出了一种重复的图像引导网络用于深度补全，通过垂直堆叠的沙漏网络和基于动态卷积的重复引导模块，同时增强了图像引导质量和深度结构恢复能力。通过逐步优化特征并采用自适应融合机制，该方法在 KITTI 和 NYUv2 基准测试中实现了最先进性能，且在不同稀疏度、光照和天气条件下表现出更强的鲁棒性。

ABSTRACT

Depth completion deals with the problem of recovering dense depth maps from sparse ones, where color images are often used to facilitate this task. Recent approaches mainly focus on image guided learning frameworks to predict dense depth. However, blurry guidance in the image and unclear structure in the depth still impede the performance of the image guided frameworks. To tackle these problems, we explore a repetitive design in our image guided network to gradually and sufficiently recover depth values. Specifically, the repetition is embodied in both the image guidance branch and depth generation branch. In the former branch, we design a repetitive hourglass network to extract discriminative image features of complex environments, which can provide powerful contextual instruction for depth prediction. In the latter branch, we introduce a repetitive guidance module based on dynamic convolution, in which an efficient convolution factorization is proposed to simultaneously reduce its complexity and progressively model high-frequency structures. Extensive experiments show that our method achieves superior or competitive results on KITTI benchmark and NYUv2 dataset.

研究动机与目标

• 为解决现有图像引导深度补全方法中存在的图像引导模糊和深度结构不清晰问题。
• 通过增强图像引导分支中的多尺度上下文理解能力，提升复杂环境下的特征表示能力。
• 通过重复的动态卷积机制，逐步恢复高频深度结构。
• 通过高效模块设计，在保持精度的同时降低动态卷积中的 GPU 显存消耗。
• 通过自适应融合机制融合多阶段特征，提升深度预测性能。

提出的方法

• 在图像引导分支中设计了重复的沙漏网络，从 RGB 图像中提取具有判别性的多尺度特征，提升上下文理解能力和引导质量。
• 在深度生成分支中引入基于动态卷积的重复引导模块，以更准确地逐步建模高频深度结构。
• 提出一种高效的卷积分解策略，降低动态卷积模块中的计算复杂度和 GPU 显存使用量。
• 自适应融合机制聚合重复模块多个阶段的特征，生成更具鲁棒性的深度表征。
• 模型采用端到端训练方式，输入为稀疏深度图和 RGB 图像，监督目标为稠密深度预测。

实验结果

研究问题

• RQ1 在图像引导分支和深度生成分支中采用重复设计，是否能提升深度补全的质量？
• RQ2 重复沙漏网络中的多尺度特征聚合，如何增强对深度预测的图像引导能力？
• RQ3 重复的动态卷积模块是否能在降低显存消耗的同时，有效建模高频深度结构？
• RQ4 与简单拼接或相加相比，多阶段特征的自适应融合是否能带来更优的深度预测性能？
• RQ5 该方法在不同深度稀疏度、光照和天气条件下的鲁棒性如何？

主要发现

• RigNet 在 KITTI 基准测试中达到最先进性能，在所有稀疏度水平下均优于现有方法，包括极端稀疏情况（如采样比率为 0.025）。
• 在 NYUv2 数据集中，RigNet 取得具有竞争力的结果，展现出对具有复杂纹理和结构的室内场景的强大泛化能力。
• 自适应融合机制相比简单相加和拼接，RMSE 提升 5.3 mm，证明其在融合多阶段特征方面的有效性。
• 在 Virtual KITTI 上，面对不同光照和天气条件，RigNet 相较于 GuideNet 和 ACMNet 仍保持更优性能，展现出强鲁棒性。
• 通过高效的分解策略，该方法显著降低了动态卷积模块中的 GPU 显存占用，支持实际部署。