[论文解读] Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation

Yuenan Hou, Xinge Zhu+3 more|arXiv (Cornell University)|Jun 5, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本文提出Point-to-Voxel Knowledge Distillation (PVD)，一种用于LiDAR语义分割的新颖知识蒸馏框架，通过超体素分割与难度感知采样，实现从点级和体素级输出及特征亲和力中的知识迁移。PVD在Cylinder3D上实现约75%的MACs减少与2倍推理速度提升，且精度损失极小，在nuScenes与SemanticKITTI基准上优于先前方法。

ABSTRACT

This article addresses the problem of distilling knowledge from a large teacher model to a slim student network for LiDAR semantic segmentation. Directly employing previous distillation approaches yields inferior results due to the intrinsic challenges of point cloud, i.e., sparsity, randomness and varying density. To tackle the aforementioned problems, we propose the Point-to-Voxel Knowledge Distillation (PVD), which transfers the hidden knowledge from both point level and voxel level. Specifically, we first leverage both the pointwise and voxelwise output distillation to complement the sparse supervision signals. Then, to better exploit the structural information, we divide the whole point cloud into several supervoxels and design a difficulty-aware sampling strategy to more frequently sample supervoxels containing less-frequent classes and faraway objects. On these supervoxels, we propose inter-point and inter-voxel affinity distillation, where the similarity information between points and voxels can help the student model better capture the structural information of the surrounding environment. We conduct extensive experiments on two popular LiDAR segmentation benchmarks, i.e., nuScenes and SemanticKITTI. On both benchmarks, our PVD consistently outperforms previous distillation approaches by a large margin on three representative backbones, i.e., Cylinder3D, SPVNAS and MinkowskiNet. Notably, on the challenging nuScenes and SemanticKITTI datasets, our method can achieve roughly 75% MACs reduction and 2x speedup on the competitive Cylinder3D model and rank 1st on the SemanticKITTI leaderboard among all published algorithms. Our code is available at https://github.com/cardwing/Codes-for-PVKD.

研究动机与目标

• 为解决LiDAR语义分割中知识蒸馏的挑战，其中点云稀疏性、随机性及密度变化导致有效知识迁移困难。
• 通过利用点级与体素级知识（包括输出预测与特征亲和力）提升蒸馏性能。
• 通过超体素分割与难度感知采样，提升对罕见类别与远距离物体等困难样本的学习效率与效果。
• 实现显著的模型压缩，同时保持精度损失最小，使强大模型可在资源受限的自动驾驶系统中部署。

提出的方法

• 提出点级与体素级输出蒸馏，以补充稀疏监督信号，结合细粒度的点级与粗粒度但信息丰富的体素级预测。
• 引入点间与体素间亲和力蒸馏，通过测量点与体素特征之间的语义相似性，传递关系知识。
• 采用超体素分割将点云划分为固定大小的超体素，通过限制成对比较数量，使亲和力蒸馏在计算上可行。
• 设计难度感知采样策略，优先选择包含少数类别与远距离物体的超体素，以提升对困难样本的学习效果。
• 使用多阶段蒸馏损失，结合输出蒸馏与亲和力蒸馏，并采用自适应加权以平衡知识迁移。
• 将该方法应用于nuScenes与SemanticKITTI基准上的三种SOTA主干网络——Cylinder3D、SPVNAS与MinkowskiNet。

实验结果

研究问题

• RQ1 尽管存在稀疏性、随机性与点密度变化等挑战，知识蒸馏是否仍可有效应用于LiDAR语义分割？
• RQ2 与单层次蒸馏相比，结合点级与体素级知识迁移是否能提升蒸馏性能？
• RQ3 基于特征相似性的亲和力蒸馏是否能增强点云分割中的结构理解？
• RQ4 超体素分割是否使大规模点云中的亲和力蒸馏在可行性和效率上成为可能？
• RQ5 与均匀或随机采样相比，难度感知采样是否能提升对罕见与远距离物体的蒸馏效果？

主要发现

• 在SemanticKITTI验证集上，PVD实现66.4%的mIoU，显著优于基线蒸馏方法，并于2021年11月在单帧排行榜上位列第一。
• 在nuScenes数据集上，PVD在Cylinder3D模型上实现约75%的MACs减少与2倍推理速度提升，性能损失微小。
• 该方法在nuScenes与SemanticKITTI基准上，对Cylinder3D、SPVNAS与MinkowskiNet三种主干网络的性能均持续优于先前蒸馏方法。
• 消融实验表明，亲和力蒸馏对性能提升的贡献大于输出蒸馏，且超体素尺寸(120, 60, 8)表现最优。
• 难度感知采样优于距离感知、类别感知与随机采样，证明其在优先处理困难样本方面的有效性。
• 可视化对比显示，与基线方法相比，PVD显著减少了对少数类别（如行人）与远距离物体（如自行车、远处汽车）的误分类。