[论文解读] SE-SSD: Self-Ensembling Single-Stage Object Detector From Point Cloud

Zheng Wu, Weiliang Tang+2 more|arXiv (Cornell University)|Apr 20, 2021

Advanced Neural Network Applications参考文献 36被引用 19

一句话总结

SE-SSD 提出了一种用于点云的自集成单阶段3D目标检测器，该方法采用一致性损失和形状感知数据增强的教师-学生蒸馏框架。通过使用教师网络生成的软目标，并结合几何感知的数据增强操作，学生网络在KITTI数据集上提升了鲁棒性和精度，相较于基线SSD实现了1.7%的mAP提升，达到当前最先进性能。

ABSTRACT

We present Self-Ensembling Single-Stage object Detector (SE-SSD) for accurate and efficient 3D object detection in outdoor point clouds. Our key focus is on exploiting both soft and hard targets with our formulated constraints to jointly optimize the model, without introducing extra computation in the inference. Specifically, SE-SSD contains a pair of teacher and student SSDs, in which we design an effective IoU-based matching strategy to filter soft targets from the teacher and formulate a consistency loss to align student predictions with them. Also, to maximize the distilled knowledge for ensembling the teacher, we design a new augmentation scheme to produce shape-aware augmented samples to train the student, aiming to encourage it to infer complete object shapes. Lastly, to better exploit hard targets, we design an ODIoU loss to supervise the student with constraints on the predicted box centers and orientations. Our SE-SSD attains top performance compared with all prior published works. Also, it attains top precisions for car detection in the KITTI benchmark (ranked 1st and 2nd on the BEV and 3D leaderboards, respectively) with an ultra-high inference speed. The code is available at https://github.com/Vegeta2020/SE-SSD.

研究动机与目标

• 在无需额外标注的前提下，通过自集成方法提升稀疏室外点云中的3D目标检测性能。
• 通过形状感知数据增强缓解遮挡、距离变化和目标形状多样性带来的域偏移与特征方差问题。
• 通过一致性损失将学生网络的预测与教师网络的软目标对齐，提升学生网络的泛化能力。
• 通过基于IoU的匹配策略与软目标上的Smooth-L1损失，降低梯度方差并提升3D检测的优化稳定性。
• 仅使用点云输入，实现单阶段检测器在KITTI数据集上的最先进性能。

提出的方法

• 该框架采用学生-教师SSD架构，其主干网络完全一致：SPConvNet用于3D特征提取，BEVConvNet用于鸟瞰图特征学习，多任务头用于边界框与分类预测。
• 教师网络通过置信度与IoU过滤（阈值τc和τI）从原始点云生成软目标，以提升目标质量。
• 采用基于IoU匹配的一致性损失，最小化学生与教师在边界框偏移（x,y,z,w,l,h）、方向角（r）及分类分数上的Smooth-L1损失。
• 形状感知数据增强将每个目标划分为六个金字塔形点子集，并应用随机丢弃、交换与稀疏化操作，以模拟遮挡、目标多样性与距离相关的稀疏性。
• 在增强前应用全局变换（平移、翻转、缩放）以进一步扩展数据分布。
• 学生网络采用多损失目标进行训练：ODIoU用于边界框回归，Focal损失用于分类，方向损失用于方向预测，一致性损失则基于软目标进行优化。

实验结果

研究问题

• RQ1 在稀疏点云上，通过教师网络生成的软标签进行自集成，能否提升单阶段3D目标检测的学生网络泛化能力？
• RQ2 模拟遮挡、目标相似性与距离变化的形状感知数据增强，如何影响检测器的鲁棒性与精度？
• RQ3 与仅使用硬目标相比，基于IoU匹配软目标的一致性损失是否能降低梯度方差并提升训练稳定性？
• RQ4 学生网络能否在不依赖额外标注的情况下，通过知识蒸馏与数据增强超越标准SSD？
• RQ5 方向感知损失（ODIoU）在鸟瞰图中对非轴对齐3D边界框的预测有何影响？

主要发现

• SE-SSD在KITTI 3D检测基准上相较基线SSD实现了1.7%的绝对mAP提升，达到72.1%的mAP。
• 结合软目标的一致性损失有效降低了梯度方差并提升了收敛性，表现为更稳定的训练曲线以及学生与教师预测之间更好的对齐。
• 形状感知数据增强显著提升了模型性能，能够有效模拟真实世界中的部分遮挡与点云稀疏性，尤其在挑战性条件下表现突出。
• ODIoU损失中的(1−|cos(Δr)|)项能有效引导方向优化，减少方向误差并加速收敛。
• 采用指数移动平均（EMA）更新教师网络，确保了软目标生成的稳定性，从而实现了训练过程中的有效蒸馏。
• 消融实验表明，一致性损失与形状感知增强均不可或缺，二者对最终mAP提升均有显著贡献。