[论文解读] TiG-BEV: Multi-view BEV 3D Object Detection via Target Inner-Geometry Learning

Peixiang Huang, Li Liu+5 more|arXiv (Cornell University)|Dec 28, 2022

Advanced Neural Network Applications被引用 16

一句话总结

本文提出 TiG-BEV，一种用于多视角 3D 目标检测的新框架，通过从 LiDAR 模态学习目标内几何结构，提升基于相机的 BEV 检测器性能。该方法引入基于自适应参考点的内深度监督，以及基于通道间与关键点间相似性的内特征 BEV蒸馏，使 BEVDepth 在 nuScenes 上实现 +2.3% NDS 和 +2.4% mAP 的性能提升，BEVDet 在无 CBGS 设置下实现 +9.1% NDS 和 +10.3% mAP 的显著提升。

ABSTRACT

To achieve accurate and low-cost 3D object detection, existing methods propose to benefit camera-based multi-view detectors with spatial cues provided by the LiDAR modality, e.g., dense depth supervision and bird-eye-view (BEV) feature distillation. However, they directly conduct point-to-point mimicking from LiDAR to camera, which neglects the inner-geometry of foreground targets and suffers from the modal gap between 2D-3D features. In this paper, we propose the learning scheme of Target Inner-Geometry from the LiDAR modality into camera-based BEV detectors for both dense depth and BEV features, termed as TiG-BEV. First, we introduce an inner-depth supervision module to learn the low-level relative depth relations between different foreground pixels. This enables the camera-based detector to better understand the object-wise spatial structures. Second, we design an inner-feature BEV distillation module to imitate the high-level semantics of different keypoints within foreground targets. To further alleviate the BEV feature gap between two modalities, we adopt both inter-channel and inter-keypoint distillation for feature-similarity modeling. With our target inner-geometry distillation, TiG-BEV can effectively boost BEVDepth by +2.3% NDS and +2.4% mAP, along with BEVDet by +9.1% NDS and +10.3% mAP on nuScenes val set. Code will be available at https://github.com/ADLab3Ds/TiG-BEV.

研究动机与目标

• 通过利用 LiDAR 提供的空间线索，解决基于相机与基于 LiDAR 的 3D 检测器之间的性能差距。
• 克服现有方法在未建模目标特定内几何结构的情况下直接且严格地模仿特征的局限性。
• 通过学习前景目标内部的相对深度与语义关系，提升深度图质量与 BEV 特征对齐效果。
• 通过结构化、几何感知的蒸馏方法，减少相机与 LiDAR BEV 特征之间的模态差距。
• 在不同主干网络架构与时间设置下，实现一致的性能增益。

提出的方法

• 引入内深度监督模块，通过在每个前景目标内计算自适应参考点的相对深度值，增强局部几何理解能力。
• 采用基于最小深度误差与真实值匹配的自适应目标参考点选择策略，提升在多样化目标形状下的鲁棒性。
• 提出内特征 BEV 蒸馏模块，通过在通道间与关键点间空间建模相似性，实现高层语义的迁移。
• 联合使用通道间与关键点间蒸馏，减少相机与 LiDAR BEV 表示之间的模态差距，同时避免强制执行逐通道对齐。
• 将该框架应用于 BEVDepth 和 BEVDet 等学生模型，在训练过程中集成 LiDAR 监督的内几何学习。
• 采用教师-学生范式，由预训练的基于 LiDAR 的检测器为基于相机的检测器提供深度与 BEV 特征学习的监督信号。

实验结果

研究问题

• RQ1 在前景目标内部建模相对深度关系，是否能提升基于相机的 BEV 检测器的 3D 目标检测精度？
• RQ2 通过 BEV 空间中的内特征蒸馏学习高层语义结构，是否能有效减少相机与 LiDAR 特征之间的模态差距？
• RQ3 与固定或成对参考点策略相比，自适应参考点选择在内深度监督中的有效性如何？
• RQ4 通道间与关键点间蒸馏组件在性能增益中各自及联合贡献的贡献程度如何？
• RQ5 所提出的内几何学习方案是否能在不同 2D 主干网络与时间设置下实现泛化？

主要发现

• 在 nuScenes 验证集上，BEVDepth 经 TiG-BEV 增强后实现 +2.3% NDS 和 +2.4% mAP 的显著性能提升。
• 在无 CBGS 的设置下，BEVDet 实现 +9.1% NDS 和 +10.3% mAP 的显著提升，凸显该方法在高难度场景下的有效性。
• 仅使用内深度监督即可实现 mAP 提升 +1.0% 和 NDS 提升 +0.9%，表明其对深度质量与定位精度的直接影响。
• 仅使用内特征 BEV 蒸馏即可实现 mAP 提升 +3.0% 和 NDS 提升 +2.3%，表明高层语义迁移具有强大贡献。
• 联合使用两项组件可实现 mAP 提升 +3.7% 和 NDS 提升 +2.7%，证实二者具有互补性与协同增益效应。
• 该方法在不同 2D 主干网络与时间设置下均具有良好的泛化能力，mAP 提升范围为 +3.4% 至 +5.8%，NDS 提升范围为 +2.5% 至 +5.0%。