[论文解读] Self-supervised Point Cloud Prediction Using 3D Spatio-temporal Convolutional Networks

Benedikt Mersch, Xieyuanli Chen+2 more|arXiv (Cornell University)|Sep 28, 2021

Autonomous Vehicle Technology and Safety参考文献 38被引用 13

一句话总结

本文提出了一种自监督的3D时空卷积网络，通过将输入扫描转换为距离图像并将其作为3D张量处理，从而预测未来的3D LiDAR点云。该方法在无需微调的情况下，仅使用无标签数据进行训练，即可实现优于10 Hz LiDAR帧率的快速推理，并在未见过的环境中表现出良好的泛化能力。

ABSTRACT

Exploiting past 3D LiDAR scans to predict future point clouds is a promising method for autonomous mobile systems to realize foresighted state estimation, collision avoidance, and planning. In this paper, we address the problem of predicting future 3D LiDAR point clouds given a sequence of past LiDAR scans. Estimating the future scene on the sensor level does not require any preceding steps as in localization or tracking systems and can be trained self-supervised. We propose an end-to-end approach that exploits a 2D range image representation of each 3D LiDAR scan and concatenates a sequence of range images to obtain a 3D tensor. Based on such tensors, we develop an encoder-decoder architecture using 3D convolutions to jointly aggregate spatial and temporal information of the scene and to predict the future 3D point clouds. We evaluate our method on multiple datasets and the experimental results suggest that our method outperforms existing point cloud prediction architectures and generalizes well to new, unseen environments without additional fine-tuning. Our method operates online and is faster than the common LiDAR frame rate of 10 Hz.

研究动机与目标

• 使自主系统能够在不依赖标注数据或先前检测/跟踪流水线的情况下，预测未来的LiDAR点云。
• 开发一种端到端的自监督方法，联合建模序列3D点云中的空间与时间依赖性。
• 实现实时在线推理，速度超过10 Hz，适用于移动平台部署。
• 在无需额外微调的情况下，有效泛化到新的、未见过的环境。
• 通过在3D卷积编码器-解码器架构中使用跳跃连接和环形填充，提高预测精度和结构细节。

提出的方法

• 该方法将每个3D LiDAR扫描转换为2D距离图像，并将一系列此类图像拼接成3D张量以进行时空处理。
• 采用类似3D U-Net的编码器-解码器架构，通过3D卷积联合编码序列中的空间与时间特征。
• 使用跳跃连接在解码器的上采样过程中保留高分辨率的空间细节。
• 应用环形填充以保持360°视场范围内的水平一致性，减少接缝附近的伪影。
• 网络同时预测未来距离图像和每个点的掩码（指示有效/无效点），从而实现精确的点云生成。
• 训练采用自监督方式，使用多任务损失函数，结合基于图像的损失（用于预训练）和3D Chamfer距离损失（用于微调）。

实验结果

研究问题

• RQ1 自监督的3D卷积网络能否在无需任何人工标注的情况下，从过去的LiDAR序列中预测出详细的未来点云？
• RQ2 通过3D卷积进行联合时空建模是否优于递归网络或双流架构在点云预测中的表现？
• RQ3 该模型是否能够在不进行微调的情况下，泛化到具有不同传感器安装方式和场景特征的新环境？
• RQ4 所提出的方法是否能够实现实时推理，速度超过标准的10 Hz LiDAR帧率？
• RQ5 使用计算快速的基于图像的损失进行预训练，再通过3D Chamfer距离进行微调，是否能提升收敛速度和最终性能？

主要发现

• 在KITTI Odometry数据集上，所提方法的平均Chamfer距离为0.480 m²，优于当前最先进基线方法。
• 模型在未见环境中的泛化能力出色：在Apollo-SouthBay数据集上仅进行一个周期的微调后，Chamfer距离从0.934 m²降至0.426 m²。
• 模型在推理阶段可实现超过10 Hz的在线处理速度，支持在移动平台上实现实时部署。
• 消融实验表明，跳跃连接和环形填充显著提升了预测质量，完整架构实现了最佳性能。
• 使用基于图像的损失进行预训练，再通过Chamfer距离进行微调，相比仅使用3D损失从零开始训练，能获得更优结果并减少训练时间。
• 即使在不同传感器安装方式下，模型仍能正确预测重投影掩码，表明对几何变化具有鲁棒性。