[论文解读] Rethinking Pseudo-LiDAR Representation

Xinzhu Ma, Shinan Liu+4 more|arXiv (Cornell University)|Aug 11, 2020

Advanced Neural Network Applications参考文献 40被引用 9

一句话总结

本文提出 PatchNet，一种基于图像的 3D 检测器，通过利用从图像到 LiDAR 坐标系的坐标变换，而非依赖伪 LiDAR 点云表示，实现在 KITTI 数据集上的最先进性能。作者证明，伪 LiDAR 性能提升的根源并非数据表示方式，而是通过坐标变换隐式编码了相机标定信息，从而实现更优的 2D CNN 特征提取与端到端训练。

ABSTRACT

The recently proposed pseudo-LiDAR based 3D detectors greatly improve the benchmark of monocular/stereo 3D detection task. However, the underlying mechanism remains obscure to the research community. In this paper, we perform an in-depth investigation and observe that the efficacy of pseudo-LiDAR representation comes from the coordinate transformation, instead of data representation itself. Based on this observation, we design an image based CNN detector named Patch-Net, which is more generalized and can be instantiated as pseudo-LiDAR based 3D detectors. Moreover, the pseudo-LiDAR data in our PatchNet is organized as the image representation, which means existing 2D CNN designs can be easily utilized for extracting deep features from input data and boosting 3D detection performance. We conduct extensive experiments on the challenging KITTI dataset, where the proposed PatchNet outperforms all existing pseudo-LiDAR based counterparts. Code has been made available at: https://github.com/xinzhuma/patchnet.

研究动机与目标

• 探究基于伪 LiDAR 的 3D 检测器在单目/双目 3D 检测中取得成功的基本原因。
• 确定伪 LiDAR 表示本身是否对性能提升至关重要，或是否存在其他表示形式可实现相当的结果。
• 开发一种更具泛化能力的基于图像的 3D 检测器，利用成熟的 2D CNN 架构并支持端到端训练。
• 验证从图像空间到 LiDAR 空间的坐标变换是性能提升的关键因素，而非点云表示本身。

提出的方法

• 设计 PatchNet-vanilla，一种基于图像的检测器，其架构与伪 LiDAR 方法一致，但使用原始图像输入而非伪 LiDAR 点云。
• 将预测的深度图与图像特征融合，并应用相机标定将 2D 图像坐标投影到 3D 世界坐标，作为额外的输入通道。
• 使用标准的 2D 卷积神经网络（CNN）从融合后的图像与坐标数据中提取特征，支持端到端训练。
• 在特征图上添加 3D 检测头，用于预测 3D 边界框，损失函数针对位置、尺寸和方向进行优化。
• 在所有对比实验中一致使用 DORN 深度估计器，以确保对表示方式影响的公平评估。
• 开展消融实验，以分离坐标变换与数据表示在性能提升中的独立贡献。

实验结果

研究问题

• RQ1 是什么根本机制使得伪 LiDAR 在 3D 检测中优于标准的基于图像的 3D 检测器？
• RQ2 伪 LiDAR 的点云表示是否在根本上优于基于图像的表示？
• RQ3 仅基于图像特征并辅以坐标信息的检测器，能否达到或超越基于伪 LiDAR 的检测器性能？
• RQ4 从图像空间到 LiDAR 空间的坐标变换在多大程度上独立于数据表示提升了检测精度？
• RQ5 通过将世界坐标信息整合到输入特征空间，能否使基于图像的 3D 检测器更有效且更具泛化能力？

主要发现

• 伪 LiDAR 的性能提升并非源于其点云表示，而是源于从图像到 LiDAR 空间的坐标变换，该变换嵌入了相机标定信息。
• PatchNet-vanilla 是一种基于图像的检测器，其架构与伪 LiDAR 相同，但不进行点云转换，在 KITTI 数据集上的性能与伪 LiDAR 相当。
• 所提出的 PatchNet 模型在 KITTI 数据集上实现了最先进性能，优于所有现有的基于伪 LiDAR 的方法，其中在车辆类别上的硬集 AP@11 达到 35.1%。
• 在硬集 AP@11 指标下，PatchNet 相较于先前的 SOTA 方法 AM3D 提升了 2.34%，证明了所提设计的有效性。
• 该方法支持端到端训练，并比传统伪 LiDAR 流水线中使用的点式 CNN 更有效地利用强大的 2D CNN。
• 失败案例主要源于遮挡和截断，且部分 2D 检测失败会传播至 3D 检测，表明 2D 检测鲁棒性仍有提升空间。