[论文解读] UniDistill: A Universal Cross-Modality Knowledge Distillation Framework for 3D Object Detection in Bird's-Eye View

Shengchao Zhou, Weizhou Liu+3 more|arXiv (Cornell University)|Mar 27, 2023

Advanced Neural Network Applications被引用 6

一句话总结

UniDistill 提出了一种用于鸟瞰图（BEV）下3D目标检测的通用跨模态知识蒸馏框架，支持从不同教师检测器（激光雷达、摄像头或融合模型）向单模态学生检测器进行知识迁移。通过将特征投影到统一的BEV空间，并应用三种稀疏蒸馏损失——特征、关系和响应——UniDistill 在不增加推理开销的前提下提升了学生模型性能，在 nuScenes 数据集上实现了 2.0%–3.2% 的 mAP 和 NDS 提升。

ABSTRACT

In the field of 3D object detection for autonomous driving, the sensor portfolio including multi-modality and single-modality is diverse and complex. Since the multi-modal methods have system complexity while the accuracy of single-modal ones is relatively low, how to make a tradeoff between them is difficult. In this work, we propose a universal cross-modality knowledge distillation framework (UniDistill) to improve the performance of single-modality detectors. Specifically, during training, UniDistill projects the features of both the teacher and the student detector into Bird's-Eye-View (BEV), which is a friendly representation for different modalities. Then, three distillation losses are calculated to sparsely align the foreground features, helping the student learn from the teacher without introducing additional cost during inference. Taking advantage of the similar detection paradigm of different detectors in BEV, UniDistill easily supports LiDAR-to-camera, camera-to-LiDAR, fusion-to-LiDAR and fusion-to-camera distillation paths. Furthermore, the three distillation losses can filter the effect of misaligned background information and balance between objects of different sizes, improving the distillation effectiveness. Extensive experiments on nuScenes demonstrate that UniDistill effectively improves the mAP and NDS of student detectors by 2.0%~3.2%.

研究动机与目标

• 解决现有跨模态知识蒸馏方法适用性有限的问题，这些方法受限于固定的教师-学生模态配对。
• 克服多模态检测器系统复杂性与单模态检测器性能局限之间的权衡。
• 实现跨多样化模态路径的通用蒸馏：激光雷达到摄像头、摄像头到激光雷达、融合到激光雷达、融合到摄像头。
• 通过过滤错位的背景特征并平衡不同尺寸目标的差异，提升蒸馏效果。
• 通过避免推理阶段的额外计算，保持推理效率，同时提升学生检测器性能。

提出的方法

• 将教师和学生检测器的特征统一投影到鸟瞰图（BEV）表示空间，以实现跨模态对齐。
• 应用三种蒸馏损失：(1) 特征蒸馏，用于在 9 个关键点对齐低层特征；(2) 关系蒸馏，用于对齐高层特征之间的关系；(3) 响应蒸馏，使用类似高斯的掩码对齐预测响应。
• 仅对前景特征进行稀疏对齐，以抑制错位背景区域带来的噪声。
• 在低层和高层 BEV 特征后引入自适应层，防止从低质量模态（如基于摄像头的教师）向高质量模态（如基于激光雷达的学生）迁移知识时性能下降。
• 利用 BEV 中不同检测器共享的检测范式，确保在多样化模态组合下的兼容性。
• 通过在分类热力图每个位置收集最大值来优化蒸馏，以提升响应蒸馏效果。

实验结果

研究问题

• RQ1 能否设计一种通用的知识蒸馏框架，支持多种跨模态蒸馏路径（如激光雷达到摄像头、融合到摄像头），且无架构限制？
• RQ2 如何设计蒸馏损失，以有效传递知识并过滤错位的背景特征？
• RQ3 在不同尺寸目标之间平衡蒸馏的影响是什么，特别是对小目标的影响？
• RQ4 当从低质量模态（如摄像头）向高质量模态（如激光雷达）迁移时，自适应层如何提升蒸馏性能？
• RQ5 与完整特征蒸馏相比，仅对前景特征进行稀疏蒸馏在效率和准确性方面能提升多少？

主要发现

• 在 nuScenes 数据集上，UniDistill 在所有测试蒸馏路径中均使学生检测器的 mAP 和 NDS 提升 2.0% 至 3.2%。
• 在融合到摄像头的路径中，UniDistill 相较基线实现了 3.2% 的 mAP 提升和 3.2% 的 NDS 提升。
• 采用高斯掩码的响应蒸馏损失表现最佳，在路径 (4) 中相比基线提升了 4.3% 的 mAP。
• 消融实验证实自适应层至关重要：移除它们会增加检测损失并降低性能，尤其在从基于摄像头的教师向基于激光雷达的学生迁移时更为明显。
• 基于关键点的关系蒸馏优于均匀采样，在路径 (4) 中相比基线提升了 1.9% 的 mAP。
• 通过在热力图每个位置收集最大值，可提升响应蒸馏效果，在路径 (4) 中相比基线使 NDS 提升 3.2 分。