[论文解读] X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation

Hong Cai, Janarbek Matai+4 more|arXiv (Cornell University)|Oct 24, 2021

Advanced Vision and Imaging参考文献 32被引用 10

一句话总结

X-Distill 提出了一种跨任务知识蒸馏框架，通过将预训练分割教师网络的语义知识迁移至深度学生网络，提升了自监督单目深度估计的性能。通过使用可训练的深度到分割适配器网络，实现了将分割监督反向传播至深度网络，从而在 KITTI 和 Make3D 上实现了当前最优性能，且无推理开销。

ABSTRACT

In this paper, we propose a novel method, X-Distill, to improve the self-supervised training of monocular depth via cross-task knowledge distillation from semantic segmentation to depth estimation. More specifically, during training, we utilize a pretrained semantic segmentation teacher network and transfer its semantic knowledge to the depth network. In order to enable such knowledge distillation across two different visual tasks, we introduce a small, trainable network that translates the predicted depth map to a semantic segmentation map, which can then be supervised by the teacher network. In this way, this small network enables the backpropagation from the semantic segmentation teacher's supervision to the depth network during training. In addition, since the commonly used object classes in semantic segmentation are not directly transferable to depth, we study the visual and geometric characteristics of the objects and design a new way of grouping them that can be shared by both tasks. It is noteworthy that our approach only modifies the training process and does not incur additional computation during inference. We extensively evaluate the efficacy of our proposed approach on the standard KITTI benchmark and compare it with the latest state of the art. We further test the generalizability of our approach on Make3D. Overall, the results show that our approach significantly improves the depth estimation accuracy and outperforms the state of the art.

研究动机与目标

• 在无需昂贵真实深度标注的情况下，提升自监督单目深度估计性能。
• 将预训练分割网络的语义知识迁移至深度估计网络。
• 实现语义分割与深度估计这两个本质不同的任务之间的跨任务知识蒸馏。
• 设计一种轻量化、可训练的适配器网络，将深度预测转换为伪分割图以提供监督。
• 基于视觉与几何特性，设计一种新型物体分组策略，以对齐语义与深度表征。

提出的方法

• 引入一个小型、可训练的深度到分割适配器网络，将预测的深度图转换为伪分割图。
• 适配器网络的输出由一个预训练的语义分割教师网络监督，从而实现将语义知识蒸馏至深度网络。
• 在训练过程中，采用线性调度的加权策略，将自监督深度损失与分割蒸馏损失相结合。
• 基于视觉与几何特性，设计了一种新的物体分组方案，以改善语义类别与深度结构之间的对齐。
• 该方法仅在训练阶段运行，不增加推理计算，保持了高效性。

实验结果

研究问题

• RQ1 来自预训练分割网络的语义知识是否能提升自监督单目深度估计性能？
• RQ2 当两个视觉任务（语义分割与深度估计）的输出不可直接比较时，如何有效实现知识迁移？
• RQ3 设计一种跨任务适配器网络的最优方式是什么，以实现将分割监督反向传播至深度网络？
• RQ4 如何对物体类别进行分组，以最大化语义分割与深度估计任务之间的可迁移性？
• RQ5 所提出的方法是否在不同深度网络架构与数据集上具有泛化能力？

主要发现

• X-Distill 在 KITTI 上提升了 Monodepth2 (ResNet-50) 的性能，将 Abs Rel 从 0.110 降低至 0.106，RMSE 从 4.642 降低至 4.580。
• 该方法在 KITTI 基准上实现了当前最优性能，优于现有的自监督方法。
• 在 Make3D 上，X-Distill 展现出强大的泛化能力，证实了其在不同领域的鲁棒性。
• 消融实验表明，线性调度的损失加权优于恒定加权，最优性能出现在最终蒸馏权重为 0.0045 时。
• 该方法在多种架构上均提升了深度估计精度，包括使用 RN18、RN50 和 DONNA 主干网络的 Monodepth2，以及 HR-Depth。
• 该方法对超参数变化具有鲁棒性，在最终蒸馏损失权重 ±20% 的变化范围内表现稳定。