[论文解读] Structure-Attentioned Memory Network for Monocular Depth Estimation

Jing Zhu, Yunxiao Shi+4 more|arXiv (Cornell University)|Sep 10, 2019

Advanced Vision and Imaging参考文献 33被引用 4

一句话总结

本文提出了一种用于单目深度估计的结构注意力记忆网络（SAMN），引入了一种新型的结构导向记忆（SOM）模块，通过可记忆滤波器库（MBF）和注意力引导控制器（AGC）学习并记忆结构感知的图像-深度残差模式，实现自适应、结构特定的特征对齐。该方法通过在像素级和结构级有效减少跨模态域差距，在KITTI和NYU Depth V2基准上实现了最先进性能。

ABSTRACT

Monocular depth estimation is a challenging task that aims to predict a corresponding depth map from a given single RGB image. Recent deep learning models have been proposed to predict the depth from the image by learning the alignment of deep features between the RGB image and the depth domains. In this paper, we present a novel approach, named Structure-Attentioned Memory Network, to more effectively transfer domain features for monocular depth estimation by taking into account the common structure regularities (e.g., repetitive structure patterns, planar surfaces, symmetries) in domain adaptation. To this end, we introduce a new Structure-Oriented Memory (SOM) module to learn and memorize the structure-specific information between RGB image domain and the depth domain. More specifically, in the SOM module, we develop a Memorable Bank of Filters (MBF) unit to learn a set of filters that memorize the structure-aware image-depth residual pattern, and also an Attention Guided Controller (AGC) unit to control the filter selection in the MBF given image features queries. Given the query image feature, the trained SOM module is able to adaptively select the best customized filters for cross-domain feature transferring with an optimal structural disparity between image and depth. In summary, we focus on addressing this structure-specific domain adaption challenge by proposing a novel end-to-end multi-scale memorable network for monocular depth estimation. The experiments show that our proposed model demonstrates the superior performance compared to the existing supervised monocular depth estimation approaches on the challenging KITTI and NYU Depth V2 benchmarks.

研究动机与目标

• 通过减少RGB图像与深度图之间的跨模态差异，解决单目深度估计的病态性问题。
• 通过显式建模平面表面、对称性及重复模式等结构规律，改进特征级别的域自适应。
• 通过将复杂的特征对齐任务卸载到可学习的记忆机制，减轻图像编码器的训练负担。
• 通过结构感知的跨域特征迁移实现端到端学习，获得更优的深度预测性能。

提出的方法

• 该方法采用编码器-解码器回归网络，并引入一种新型的结构导向记忆（SOM）模块，用于跨模态特征对齐。
• SOM模块包含一个可记忆滤波器库（MBF），用于学习并存储结构感知的图像-深度残差模式。
• 注意力引导控制器（AGC）根据图像编码器的查询特征，动态选择MBF中最相关的滤波器。
• 系统采用跨模态残差复杂度损失，以最小化图像与深度特征在像素级和结构级的分布差距。
• 网络采用端到端训练，SOM模块在特征层级运行，以增强表征迁移能力。
• 通过特征金字塔网络（FPN）解码器融合编码器的多尺度特征，以提升细节恢复能力。

实验结果

研究问题

• RQ1 基于记忆的机制是否能通过捕捉结构规律，改善单目深度估计中的跨域特征对齐？
• RQ2 学习结构特定的图像-深度残差模式是否能带来优于直接特征对齐的深度预测性能？
• RQ3 SOM模块中的注意力驱动滤波器选择机制相较于固定或非结构化对齐方法，对性能的影响如何？
• RQ4 所提出方法在减轻图像编码器训练负担的同时，能在多大程度上提升深度估计精度？

主要发现

• 所提方法在KITTI基准上实现了最先进性能，优于现有的监督单目深度估计方法。
• 在NYU Depth V2数据集上，模型的δ₁精度达到0.990，显著优于基线方法和直接对齐方法。
• 消融实验表明，SOM模块将RMSE降低至0.136，log₁₀误差降低至0.604，而基线（带FPN解码器）分别为0.229和0.803。
• 在NYU Depth V2上，SOM模块的引入使δ₁精度相比直接对齐基线相对提升了15.5%。
• 金字塔解码器（FPN）优于简单对称解码器，尤其在边缘和轮廓恢复方面表现更优，表现为更高的δ₁得分。
• 消融实验确认，SOM模块优于直接特征对齐，后者相较于基线仅带来微弱改进。