[论文解读] Plug-and-Play: Improve Depth Estimation via Sparse Data Propagation

Tsun-Hsuan Wang, Fu-En Wang+4 more|arXiv (Cornell University)|Dec 20, 2018

Advanced Vision and Imaging参考文献 25被引用 11

一句话总结

该论文提出了一种即插即用（PnP）模块，通过在微调前的预训练模型的中间特征图中传播稀疏深度输入，从而在不重新训练的情况下提升密集深度预测性能。该方法在NYU-v2和KITTI数据集上对多种最先进深度估计模型均实现了稳定的性能提升，即使在模拟具有不同稀疏度和视场角的各类LiDAR传感器时也表现出色。

ABSTRACT

We propose a novel plug-and-play (PnP) module for improving depth prediction with taking arbitrary patterns of sparse depths as input. Given any pre-trained depth prediction model, our PnP module updates the intermediate feature map such that the model outputs new depths consistent with the given sparse depths. Our method requires no additional training and can be applied to practical applications such as leveraging both RGB and sparse LiDAR points to robustly estimate dense depth map. Our approach achieves consistent improvements on various state-of-the-art methods on indoor (i.e., NYU-v2) and outdoor (i.e., KITTI) datasets. Various types of LiDARs are also synthesized in our experiments to verify the general applicability of our PnP module in practice. For project page, see https://zswang666.github.io/PnP-Depth-Project-Page/

研究动机与目标

• 解决使用来自LiDAR或RGB-D传感器等任意模式的稀疏深度数据提升密集深度预测的挑战。
• 克服现有方法需重新训练或仅适用于特定输入类型或密度的局限性。
• 实现在推理阶段无缝集成稀疏深度数据到任意预训练、可微分的深度预测模型中。
• 在不同传感器配置（包括具有不同视场角和垂直分辨率的合成LiDAR）下展示方法的鲁棒性与泛化能力。
• 为在实际深度估计流程中有效应用PnP模块提供实用的、经验性的指导原则。

提出的方法

• 提出一种即插即用模块，通过调整预训练深度预测模型的中间特征表示，使其与给定的稀疏深度输入对齐。
• 将性能提升建模为在中间特征上的优化问题，利用反向传播更新特征，使最终的深度输出与稀疏数据一致。
• 采用迭代优化：通过多次反向传播将稀疏深度信息逐层传播，以优化特征图并提升预测的一致性。
• 在不同网络深度选择中间特征图（z），实验表明，距离输出层越远的特征图性能更优，因其感受野更大。
• 使用学习率α和固定迭代次数（例如5次）以平衡收敛速度与推理时间。
• 通过仅在推理阶段更新特征，保留原始模型权重和结构，确保方法无需训练。

实验结果

研究问题

• RQ1 无需训练的模块能否在不重新训练的情况下，利用任意稀疏深度模式提升深度预测？
• RQ2 中间特征图（z）的选择如何影响PnP模块的性能？
• RQ3 迭代优化对预测精度和推理时间有何影响？
• RQ4 PnP模块在具有不同视场角和垂直分辨率的各类LiDAR传感器配置下是否具备良好的泛化能力？
• RQ5 在实际部署中，选择最优网络层和迭代次数的实用经验法则是什么？

主要发现

• PnP模块在NYU-v2和KITTI数据集上对所有测试的最先进深度估计模型均实现了稳定的性能提升。
• 在KITTI数据集上，当使用采样率为28.8%、垂直分辨率为0.3的模拟VLP-32C LiDAR时，该方法将MAE提升了最高达11.8%。
• 在NYU-v2数据集上，使用VLP-16模拟时，PnP模块将MAE降低了9.3%，表明即使在低稀疏输入下也表现出色。
• 该方法在视场角更宽的LiDAR（如HDL-32E，41° FoV）上表现优于点密度更高但视场角更窄的传感器，表明空间分布的重要性超过点密度。
• 性能在5至10轮迭代后趋于饱和，表明存在精度与推理时间之间的权衡，可针对实时应用进行调节。
• 选择距离输出层更远的中间特征（即网络中更早的层）可获得更优性能，因感受野更大，最佳效果出现在浅层至中层特征上。