[论文解读] SqueezeSegV3: Spatially-Adaptive Convolution for Efficient Point-Cloud Segmentation

Chenfeng Xu, BoRui Wu+5 more|arXiv (Cornell University)|Apr 3, 2020

Remote Sensing and LiDAR Applications参考文献 62被引用 28

一句话总结

本文提出空间自适应卷积（SAC），一种通用且高效的框架，可根据输入依赖的注意力图，将卷积核自适应地调整至激光雷达图像的不同空间位置。通过将自适应卷积核分解为可学习的注意力图与静态权重，SAC 实现了内容感知的、空间可变的特征提取，在 SemanticKITTI 上显著提升了点云分割精度，仅带来极小的推理速度损失，达到 46.3% 的 mIoU —— 相较于先前方法提升了 3.7%。

ABSTRACT

LiDAR point-cloud segmentation is an important problem for many applications. For large-scale point cloud segmentation, the extit{de facto} method is to project a 3D point cloud to get a 2D LiDAR image and use convolutions to process it. Despite the similarity between regular RGB and LiDAR images, we discover that the feature distribution of LiDAR images changes drastically at different image locations. Using standard convolutions to process such LiDAR images is problematic, as convolution filters pick up local features that are only active in specific regions in the image. As a result, the capacity of the network is under-utilized and the segmentation performance decreases. To fix this, we propose Spatially-Adaptive Convolution (SAC) to adopt different filters for different locations according to the input image. SAC can be computed efficiently since it can be implemented as a series of element-wise multiplications, im2col, and standard convolution. It is a general framework such that several previous methods can be seen as special cases of SAC. Using SAC, we build SqueezeSegV3 for LiDAR point-cloud segmentation and outperform all previous published methods by at least 3.7% mIoU on the SemanticKITTI benchmark with comparable inference speed.

研究动机与目标

• 为解决标准卷积在处理因球面投影导致显著空间特征分布偏移的激光雷达图像时，模型容量未被充分利用的问题。
• 设计一种高效且可泛化的卷积机制，能够根据输入内容动态调整滤波器在空间位置上的表现。
• 在不牺牲推理速度的前提下，提升大规模激光雷达基准（如 SemanticKITTI）上的点云分割精度。
• 证明空间自适应在激光雷达图像处理中的关键作用，其性能优于基于全局池化的注意力方法（如 SE 和 CBAM）

提出的方法

• SAC 将自适应卷积分解为可学习注意力图与静态卷积权重的乘积，实现空间可变的滤波。
• 注意力图通过在输入特征图上应用单层卷积计算得出，生成用于核权重缩放的逐位置因子。
• 该方法采用标准且高度优化的操作（逐元素乘法、im2col 和标准卷积），确保计算效率。
• SAC 广义化了先前方法：SE、CBAM、PAC 和 CAM 在特定注意力图配置下均被视为 SAC 的特例。
• 该框架被集成至 SqueezeSegV3 中，后者采用轻量级主干网络，并包含去下采样和多层损失等架构改进。
• 通过使用小尺寸卷积核（如 7×7）计算注意力图，保持了高效推理，实现了最小计算开销下的最优性能。

实验结果

研究问题

• RQ1 为何标准卷积在激光雷达图像上表现不佳，尽管其视觉上与 RGB 图像相似？
• RQ2 如何使卷积核能够适应激光雷达图像中特征分布的空间变化？
• RQ3 能否设计一种通用且高效的框架，统一并改进现有基于注意力的卷积模块，用于激光雷达分割？
• RQ4 除了注意力机制外，哪些架构改进能进一步提升大规模点云任务中的分割精度？

主要发现

• SqueezeSegV3 搭载 SAC-ISK 在 SemanticKITTI 基准上达到 46.3% 的 mIoU，优于所有先前发表的方法，至少提升 3.7 个百分点。
• SAC-ISK 变体（结合空间与通道注意力）达到最高性能，证明多维自适应的重要性。
• 7×7 的注意力图卷积核尺寸取得最佳精度，优于更小（1×1、3×3）和更大（5×5）的配置。
• 移除最后两个下采样层使 mIoU 提升 3.9 分，表明特征分辨率对激光雷达分割至关重要。
• 引入多层损失使 mIoU 进一步提升 1.5 分，与 SAC-ISK 结合后带来额外 2.3 分的增益。
• 所提出的 SAC 框架可泛化现有方法：SE、CBAM、PAC 和 CAM 均为 SAC 的特例，且 SAC 变体始终优于它们。