[论文解读] Rethinking Skip Connections in Encoder-decoder Networks for Monocular Depth Estimation

Zhitong Lai, Haichao Sun+4 more|arXiv (Cornell University)|Aug 29, 2022

Advanced Vision and Imaging被引用 4

一句话总结

该论文提出了一种全连接跳跃连接网络（FSCN），用于单目深度估计，通过连接编码器和解码器的所有特征层级（而不仅相同分辨率的特征），增强了特征传播。它引入了一个具有可学习权重和通道注意力的自适应拼接模块（ACM），以改善特征融合，在KITTI和NYU Depth V2数据集上实现了最先进性能，误差更低，准确率更高。

ABSTRACT

Skip connections are fundamental units in encoder-decoder networks, which are able to improve the feature propagtion of the neural networks. However, most methods with skip connections just connected features with the same resolution in the encoder and the decoder, which ignored the information loss in the encoder with the layers going deeper. To leverage the information loss of the features in shallower layers of the encoder, we propose a full skip connection network (FSCN) for monocular depth estimation task. In addition, to fuse features within skip connections more closely, we present an adaptive concatenation module (ACM). Further more, we conduct extensive experiments on the ourdoor and indoor datasets (i.e., the KITTI dataste and the NYU Depth V2 dataset) for FSCN and FSCN gets the state-of-the-art results.

研究动机与目标

• 为通过重新思考跳跃连接（超越相同分辨率特征融合）来解决深度编码-解码网络中的信息丢失问题。
• 通过利用编码器和解码器的多层级特征，改进单目深度估计中的特征表示。
• 设计一种比标准拼接更有效的特征融合机制，用于跳跃连接。
• 在标准单目深度估计基准（KITTI和NYU Depth V2）上实现最先进性能。

提出的方法

• 提出一种全连接跳跃连接网络（FSCN），在编码器和解码器的所有空间层级之间建立密集跳跃连接，而非仅匹配相同分辨率的特征。
• 引入一个自适应拼接模块（ACM），通过学习通道权重并应用挤压-激励（SE）注意力机制，动态平衡特征融合。
• 使用可学习的拼接权重，在拼接前自适应地缩放不同层级的特征，以提升融合质量。
• 采用类似U-Net的编码器-解码器架构，结合残差块和跳跃连接进行深度预测。
• 在RGB-D数据集上使用监督损失函数端到端训练网络，并进行深度范围归一化。
• 在KITTI和NYU Depth V2数据集上使用标准指标（如abs_rel、log10、rms和δ<1.25）验证方法。

实验结果

研究问题

• RQ1 在编码器和解码器的所有特征层级之间建立密集跳跃连接，是否能减少信息丢失并提高深度估计精度？
• RQ2 通过可学习权重和注意力机制实现的自适应特征融合，与跳跃连接中的标准拼接相比表现如何？
• RQ3 所提出的FSCN架构是否在单目深度估计基准上优于采用标准跳跃连接的现有编码器-解码器网络？
• RQ4 在自适应拼接模块中，拼接权重与挤压-激励模块的相对贡献分别是什么？

主要发现

• 在KITTI数据集上，FSCN实现了最先进性能，将abs_rel从（同分辨率跳跃）的0.112降低至0.111，并将δ<1.25从0.878提升至0.884。
• 在NYU Depth V2数据集上，FSCN取得了最佳结果，abs_rel = 0.111，log10 = 0.047，δ<1.25 = 0.884，优于先前方法。
• 消融实验表明，若移除拼接权重或挤压-激励模块，性能显著下降，证实了二者的重要性。
• 同时包含两个组件的ACM取得最佳结果，其中挤压-激励模块的贡献大于仅使用可学习权重的情况。
• 全连接跳跃连接机制在性能上始终优于标准跳跃连接，即使在基线无跳跃连接设置下表现也出人意料地好。
• 所提方法在不同数据集上泛化能力良好，在户外（KITTI）和室内（NYU Depth V2）基准上均达到最先进水平。