[论文解读] SideRT: A Real-time Pure Transformer Architecture for Single Image Depth Estimation

Chang Shu, Ziming Chen+4 more|arXiv (Cornell University)|Apr 29, 2022

Advanced Vision and Imaging被引用 10

一句话总结

SideRT 提出了一种用于单幅图像深度估计的实时纯Transformer架构，通过交叉尺度注意力（CSA）和多尺度精炼（MSR）模块，在无需卷积的情况下高效融合多尺度特征。其在 KITTI 上达到 51.3 FPS 的推理速度，在较小的 Swin-T 主干网络上达到 83.1 FPS，KITTI 上的 AbsRel 改进 6.9%，NYU 上改进 9.7%。

ABSTRACT

Since context modeling is critical for estimating depth from a single image, researchers put tremendous effort into obtaining global context. Many global manipulations are designed for traditional CNN-based architectures to overcome the locality of convolutions. Attention mechanisms or transformers originally designed for capturing long-range dependencies might be a better choice, but usually complicates architectures and could lead to a decrease in inference speed. In this work, we propose a pure transformer architecture called SideRT that can attain excellent predictions in real-time. In order to capture better global context, Cross-Scale Attention (CSA) and Multi-Scale Refinement (MSR) modules are designed to work collaboratively to fuse features of different scales efficiently. CSA modules focus on fusing features of high semantic similarities, while MSR modules aim to fuse features at corresponding positions. These two modules contain a few learnable parameters without convolutions, based on which a lightweight yet effective model is built. This architecture achieves state-of-the-art performances in real-time (51.3 FPS) and becomes much faster with a reasonable performance drop on a smaller backbone Swin-T (83.1 FPS). Furthermore, its performance surpasses the previous state-of-the-art by a large margin, improving AbsRel metric 6.9% on KITTI and 9.7% on NYU. To the best of our knowledge, this is the first work to show that transformer-based networks can attain state-of-the-art performance in real-time in the single image depth estimation field. Code will be made available soon.

研究动机与目标

• 解决在单幅图像深度估计中实现实时推理速度的同时保持高精度的挑战。
• 克服CNN在捕捉全局上下文方面的局限性，以及标准Transformer在深度估计中计算成本过高的问题。
• 设计一种轻量级、纯Transformer架构，避免使用参数密集的组件（如卷积）。
• 通过为深度估计量身定制的高效注意力机制，实现实时下的SOTA性能。
• 证明Transformer模型在保持实时推理速度的同时，可在该任务中超越CNN的精度表现。

提出的方法

• 采用Swin Transformer编码器，通过移位窗口自注意力机制提取分层特征。
• 引入交叉尺度注意力（CSA），利用注意力得分在不同尺度间融合语义相似度高的特征。
• 实施多尺度精炼（MSR），在对应位置对不同尺度的特征进行空间对齐与精炼。
• 设计CSA与MSR模块时尽量减少可学习参数，避免使用卷积以降低计算开销。
• 应用多阶段监督（MSS）以稳定训练并加速纯Transformer设置下的收敛。
• 采用自粗到精的分层解码策略，从低分辨率到高分辨率特征逐步优化深度预测。

实验结果

研究问题

• RQ1 纯Transformer架构能否在保持实时推理速度的同时实现SOTA的深度估计性能？
• RQ2 在不使用卷积的情况下，交叉尺度注意力与多尺度精炼在增强全局上下文建模方面的有效性如何？
• RQ3 多阶段监督对纯Transformer架构深度估计模型的训练稳定性和性能有何影响？
• RQ4 与以往基于CNN和Transformer的方法相比，所提架构在速度-精度权衡上表现如何？
• RQ5 CSA模块在多大程度上扩展了原始Transformer编码器的有效感受野？

主要发现

• SideRT 在 KITTI 上实现 51.3 FPS 的推理速度，与之前SOTA相比，AbsRel从 0.058 降低至 0.054，提升 6.9%。
• 在 NYU 数据集上，SideRT 将 AbsRel 从 0.103 降低至 0.093，提升 9.7%，展现出强大的泛化能力。
• 使用更小的 Swin-T 主干网络时，SideRT 在 KITTI 和 NYU 上分别实现 83.1 FPS 和 84.4 FPS 的推理速度，性能仅轻微下降。
• 消融实验表明，CSA 与 MSR 模块均对性能有显著贡献，其中 CSA 显著扩展了有效感受野。
• 多阶段监督（MSS）使训练损失曲线更平滑，收敛更快，证明其对纯Transformer模型训练至关重要。
• 可视化结果表明，CSA 能增强跨大空间距离的语义和深度相似区域的响应，验证了其在全局上下文建模中的作用。