[论文解读] PointRGCN: Graph Convolution Networks for 3D Vehicles Detection Refinement

Jesús Zarzar, Silvio Giancola+1 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Neural Network Applications参考文献 38被引用 53

一句话总结

PointRGCN 引入了两个基于 GCN 的细化模块（R-GCN 和 C-GCN），以提高来自 LiDAR 的 3D 车辆检测，在 KITTI 上取得具有竞争力的结果，并在 easy 数据子集实现显著的 BEV AP 提升。

ABSTRACT

In autonomous driving pipelines, perception modules provide a visual understanding of the surrounding road scene. Among the perception tasks, vehicle detection is of paramount importance for a safe driving as it identifies the position of other agents sharing the road. In our work, we propose PointRGCN: a graph-based 3D object detection pipeline based on graph convolutional networks (GCNs) which operates exclusively on 3D LiDAR point clouds. To perform more accurate 3D object detection, we leverage a graph representation that performs proposal feature and context aggregation. We integrate residual GCNs in a two-stage 3D object detection pipeline, where 3D object proposals are refined using a novel graph representation. In particular, R-GCN is a residual GCN that classifies and regresses 3D proposals, and C-GCN is a contextual GCN that further refines proposals by sharing contextual information between multiple proposals. We integrate our refinement modules into a novel 3D detection pipeline, PointRGCN, and achieve state-of-the-art performance on the easy difficulty for the bird eye view detection task.

研究动机与目标

• 用 LiDAR 点云的图表示来推动 3D 车辆检测的细化。
• 提出逐提案的 (R-GCN) 和逐帧上下文的 (C-GCN) 图模块来细化检测提案。
• 将 R-GCN 与 C-GCN 集成到以 PointRCNN 提案为基础的两阶段检测管线。
• 在 KITTI 3D 车辆检测上评估该方法，以证明相对于基线的精度提升。

提出的方法

• 采用一个两阶段检测管线，其中 PointRCNN 的提案通过图模块进行细化。
• 引入 R-GCN，通过在每个提案的标准坐标系内处理点来提取逐提案特征。
• 引入 C-GCN，通过 EdgeConv 层在同一帧内跨提案聚合上下文信息。
• 使用残差连接、膨胀和动态图更新来增强 GCN 层的感受野。
• 将 R-GCN 与 C-GCN 特征结合，通过分类和两种回归形式（分箱和残差）进行最终检测预测。
• 以多任务损失进行训练，包括提案分类和提案回归（包括分箱和残差目标）。

实验结果

研究问题

• RQ1 基于图的细化模块是否能在 PointRCNN 之上提升 3D 车辆提案的分类与回归？
• RQ2 逐提案特征聚合（R-GCN）结合跨提案上下文（C-GCN）是否能带来更好的 BEV 定位和 3D 盒体精度？
• RQ3 GCN 选择（MRGCN 与 EdgeConv）、深度、残差和膨胀对 KITTI 性能的影响是什么？
• RQ4 与最新的 LiDAR-only 检测器在 KITTI Easy/Moderate/Hard 子集上的性能比较如何？

主要发现

• PointRGCN 在 KITTI 3D 车辆检测上取得具有竞争力的结果，在所列表中大约位居 LiDAR-only 方法的第二名。
• 完整的 PointRGCN 流水线相较于若干基线，在 KITTI Easy 子集上实现大约 2% 的 BEV AP 提升。
• 仅 R-GCN 在困难场景优于 PointRCNN，将 R-GCN 与 C-GCN 结合在 Easy 与 Moderate 类别上实现提升。
• R-GCN 与 C-GCN 提供互补的增益：R-GCN 着重于逐提案局部特征，而 C-GCN 捕捉提案之间的上下文。
• 消融实验显示残差连接和膨胀显著影响性能，且 MRGCN 与 EdgeConv 在速度和内存方面存在权衡。