[论文解读] Semantic-Guided Representation Enhancement for Self-supervised Monocular Trained Depth Estimation

Rui Li, Qing Mao+5 more|arXiv (Cornell University)|Dec 15, 2020

Advanced Vision and Imaging参考文献 48被引用 6

一句话总结

本文提出了一种语义引导的表示增强框架，用于自监督单目深度估计，通过引入语义分割分支来提升深度特征学习能力。通过结合用于局部边缘细节的语义引导边缘增强模块（SEEM）以及用于全局上下文的语义引导多级注意力机制，该方法在KITTI和Cityscapes基准上实现了最先进性能，尤其在估计细长结构和语义边界方面表现优异。

ABSTRACT

Self-supervised depth estimation has shown its great effectiveness in producing high quality depth maps given only image sequences as input. However, its performance usually drops when estimating on border areas or objects with thin structures due to the limited depth representation ability. In this paper, we address this problem by proposing a semantic-guided depth representation enhancement method, which promotes both local and global depth feature representations by leveraging rich contextual information. In stead of a single depth network as used in conventional paradigms, we propose an extra semantic segmentation branch to offer extra contextual features for depth estimation. Based on this framework, we enhance the local feature representation by sampling and feeding the point-based features that locate on the semantic edges to an individual Semantic-guided Edge Enhancement module (SEEM), which is specifically designed for promoting depth estimation on the challenging semantic borders. Then, we improve the global feature representation by proposing a semantic-guided multi-level attention mechanism, which enhances the semantic and depth features by exploring pixel-wise correlations in the multi-level depth decoding scheme. Extensive experiments validate the distinct superiority of our method in capturing highly accurate depth on the challenging image areas such as semantic category borders and thin objects. Both quantitative and qualitative experiments on KITTI show that our method outperforms the state-of-the-art methods.

研究动机与目标

• 解决自监督单目深度估计在语义边界和细长结构处深度估计不准确的局限性。
• 通过专用的边缘增强模块，利用语义边缘信息提升局部深度表示能力。
• 通过多级自注意力机制融合语义与深度特征，提升全局深度表示能力。
• 在无需真实深度监督的情况下，验证语义引导在自监督设定下的有效性。
• 仅使用在KITTI上训练的模型，在Cityscapes上验证方法的跨数据集泛化能力。

提出的方法

• 在自监督框架中引入辅助语义分割分支，为深度估计提供上下文特征。
• 提出一种语义引导的边缘增强模块（SEEM），通过深度和语义解码器的多级特征，采样并增强语义边界处的点状特征。
• 在解码层之间应用语义引导的多级注意力机制，建模语义特征与深度特征之间的像素级相关性。
• 使用预训练语义模型生成的伪标签监督语义分支训练过程，避免依赖真实标签。
• 在多个尺度上融合语义与深度特征，以同时提升局部和全局深度表示能力。
• 通过图像序列的几何一致性损失端到端训练整个网络，无需任何深度监督。

实验结果

研究问题

• RQ1 语义引导是否能提升在物体边界和细长结构等困难区域的深度估计精度？
• RQ2 通过专用模块引入语义边缘信息，对局部深度表示能力有何影响？
• RQ3 多级注意力机制在利用语义上下文方面，能在多大程度上增强全局深度表示？
• RQ4 当仅在KITTI上训练时，该方法在未见数据集（如Cityscapes）上是否具备良好的泛化能力？
• RQ5 该方法对语义监督质量的变化（如使用不同预训练语义模型）是否具备鲁棒性？

主要发现

• 所提方法在KITTI 2015上实现了绝对相对误差（Abs Rel）0.105，优于基线方法（Godard et al., 2019）及当前最先进方法。
• 在KITTI上，该方法在δ≤1.25的精度达到0.891，所有语义类别均取得提升，仅'motorcycle'类别性能相近。
• 在使用$M_{CSV}$生成的伪语义标签上训练的模型，性能与在$M_{CSV+K}$上训练的模型相当，表明对语义监督质量具有鲁棒性。
• 在Cityscapes上，无论使用真实标签还是伪标签，该方法均能生成高质量的深度预测，展现出强大的泛化能力。
• 定性结果表明，深度图与物体边界的对齐显著改善，细长结构的恢复效果更优，尤其在远距离或复杂场景中。
• 语义引导的多级注意力机制通过建模解码层间长距离像素相关性，有效增强了特征表示。