[论文解读] RangeViT: Towards Vision Transformers for 3D Semantic Segmentation in Autonomous Driving

Angelika Ando, Spyros Gidaris+4 more|arXiv (Cornell University)|Jan 24, 2023

Advanced Neural Network Applications被引用 4

一句话总结

RangeViT 提出了一种基于视觉变换器（ViT）的方法，用于通过距离投影对激光雷达点云进行3D语义分割，利用在ImageNet上预训练的ViT，并通过卷积主干网络和轻量级卷积解码器提升性能。该方法在nuScenes和SemanticKITTI数据集上实现了基于2D投影方法的最先进结果，表明在稀疏、噪声较多的激光雷达数据上，仅通过极少的架构修改，即可有效迁移在自然图像上预训练的ViT。

ABSTRACT

Casting semantic segmentation of outdoor LiDAR point clouds as a 2D problem, e.g., via range projection, is an effective and popular approach. These projection-based methods usually benefit from fast computations and, when combined with techniques which use other point cloud representations, achieve state-of-the-art results. Today, projection-based methods leverage 2D CNNs but recent advances in computer vision show that vision transformers (ViTs) have achieved state-of-the-art results in many image-based benchmarks. In this work, we question if projection-based methods for 3D semantic segmentation can benefit from these latest improvements on ViTs. We answer positively but only after combining them with three key ingredients: (a) ViTs are notoriously hard to train and require a lot of training data to learn powerful representations. By preserving the same backbone architecture as for RGB images, we can exploit the knowledge from long training on large image collections that are much cheaper to acquire and annotate than point clouds. We reach our best results with pre-trained ViTs on large image datasets. (b) We compensate ViTs' lack of inductive bias by substituting a tailored convolutional stem for the classical linear embedding layer. (c) We refine pixel-wise predictions with a convolutional decoder and a skip connection from the convolutional stem to combine low-level but fine-grained features of the the convolutional stem with the high-level but coarse predictions of the ViT encoder. With these ingredients, we show that our method, called RangeViT, outperforms existing projection-based methods on nuScenes and SemanticKITTI. The code is available at https://github.com/valeoai/rangevit.

研究动机与目标

• 探究视觉变换器（ViTs）是否能提升基于2D投影的激光雷达点云3D语义分割性能。
• 通过调整输入处理方式并引入混合编码器-解码器架构，解决ViTs缺乏归纳偏置及在小数据集上表现不佳的问题。
• 评估尽管存在自然图像与距离投影之间的领域差异，ImageNet预训练的ViTs在激光雷达数据上的可迁移性。
• 通过在不同模态间复用ViT主干网络，统一2D图像与3D点云任务的网络架构。
• 为未来基于ViT的稀疏激光雷达数据3D分割研究建立一个简单但有效的基线。

提出的方法

• 将3D激光雷达点云通过距离投影转换为2D鸟瞰图特征图。
• 使用基于图像块的标记化策略从投影后的2D特征图中提取视觉标记，与标准ViT类似。
• 使用预训练的视觉变换器编码器（如ViT-S）从标记中提取高层表征，权重初始化来自ImageNet-21k的预训练。
• 用多层卷积主干网络替代标准的线性嵌入层，以引入归纳偏置并提升在稀疏距离投影上的特征学习能力。
• 使用带有来自卷积主干网络跳跃连接的轻量级卷积解码器，通过融合低级空间细节来优化ViT的粗粒度预测。
• 将像素级预测上采样并投影回3D空间，完成最终的语义标注。

实验结果

研究问题

• RQ1 尽管存在领域差异，能否在大规模自然图像数据集上预训练的视觉变换器有效微调用于3D激光雷达语义分割？
• RQ2 在ViTs中用卷积主干网络替代标准线性嵌入层，是否能提升在稀疏、噪声较多的距离投影上的性能？
• RQ3 带有来自主干网络跳跃连接的轻量级卷积解码器，是否能提升ViT在3D语义分割中的预测质量？
• RQ4 ViT-based模型在标准自动驾驶基准测试中与基于CNN的投影方法相比表现如何？
• RQ5 在低数据量场景下，预训练的ViTs相较于随机初始化或未预训练的ViTs，性能优势有多大？

主要发现

• 在nuScenes验证集上，RangeViT实现了74.77%的平均交并比（mIoU），优于所有先前的基于2D投影的方法。
• 在SemanticKITTI测试集上，RangeViT实现了70.6%的mIoU，在所有基于2D投影的方法中排名第一，并显著缩小了与基于体素的模型（如Cylinder3D）的差距。
• 消融实验表明，在相同的微调协议下，使用在ImageNet-21k上预训练的ViT-S主干网络，mIoU比ResNet-50主干网络高出14.3%。
• 使用恒等主干网络（无特征提取）的消融实验仅得到53.73%的mIoU，证实ViT特征比简单线性投影更适合迁移学习。
• 预训练ViTs、卷积主干网络与带跳跃连接的解码器三者结合，带来了显著的性能提升，尤其在行人和自行车等稀有及低密度类别上表现突出。
• 定性结果表明，RangeViT减少了边界伪影，并改善了复杂结构的分割效果，但对可行驶表面与人行道的区分仍存在部分混淆。