[论文解读] SIENet: Spatial Information Enhancement Network for 3D Object Detection from Point Cloud

Ziyu Li, Yuncong Yao+3 more|arXiv (Cornell University)|Mar 29, 2021

Advanced Neural Network ApplicationsComputer Science参考文献 45被引用 17

一句话总结

SIENet 提出了一种两阶段的3D目标检测框架，通过引入空间信息增强（SIE）模块来预测候选提议中的密集、完整形状，以及一种混合范式区域提议网络（HP-RPN）以实现鲁棒的特征提取，从而解决LiDAR数据中点云密度不平衡的问题。该方法在KITTI数据集上实现了最先进性能，在远距离（20米以上）实现了4.39 AP的提升，显著增强了在稀疏、远距离场景下的检测鲁棒性。

ABSTRACT

LiDAR-based 3D object detection pushes forward an immense influence on autonomous vehicles. Due to the limitation of the intrinsic properties of LiDAR, fewer points are collected at the objects farther away from the sensor. This imbalanced density of point clouds degrades the detection accuracy but is generally neglected by previous works. To address the challenge, we propose a novel two-stage 3D object detection framework, named SIENet. Specifically, we design the Spatial Information Enhancement (SIE) module to predict the spatial shapes of the foreground points within proposals, and extract the structure information to learn the representative features for further box refinement. The predicted spatial shapes are complete and dense point sets, thus the extracted structure information contains more semantic representation. Besides, we design the Hybrid-Paradigm Region Proposal Network (HP-RPN) which includes multiple branches to learn discriminate features and generate accurate proposals for the SIE module. Extensive experiments on the KITTI 3D object detection benchmark show that our elaborately designed SIENet outperforms the state-of-the-art methods by a large margin.

研究动机与目标

• 解决基于LiDAR的3D目标检测中点云密度不平衡的挑战，特别是由于稀疏采样导致远距离性能下降的问题。
• 通过增强候选提议中不完整、稀疏点集的空间结构信息，改进3D目标检测的特征表示。
• 设计一种鲁棒的区域提议网络，能够有效提取多尺度特征，并在密度不平衡条件下生成高召回率的提议。
• 设计一种空间信息增强机制，从稀疏前景点中预测密集、完整的形状，以丰富用于边界框精化的语义与结构特征。

提出的方法

• 提出空间信息增强（SIE）模块，通过可学习的形状生成头，从3D目标提议内的稀疏点集中预测完整、密集的空间形状。
• 引入一种三分支混合范式区域提议网络（HP-RPN）：基于spconv的分支用于多尺度特征提取，辅助分支用于引导空间学习，关键点分支用于动态特征重加权。
• 在SIE模块中采用注意力机制进行特征融合，以更好地聚合增强后的空间特征与原始提议特征，提升表征能力。
• 采用两阶段检测流程：第一阶段由HP-RPN生成提议，第二阶段进行SIE处理与边界框精化。
• 利用稀疏3D卷积与基于点的特征学习，在处理大规模、无序点云时保持高效性与准确性。
• 在HP-RPN中实现辅助分支与spconv分支之间的上下文融合，以增强特征判别力与提议质量。

实验结果

研究问题

• RQ1 从稀疏点集中预测完整、密集的空间形状，是否能提升在远距离、低密度场景下的3D目标检测性能？
• RQ2 具有多个专用分支的混合范式RPN设计，在处理点云密度不平衡与提升提议质量方面效果如何？
• RQ3 结构感知的空间信息整合在多大程度上能增强3D检测器的特征表示与边界框精化能力？
• RQ4 SIE模块中采用的注意力机制融合是否优于简单的拼接操作，实现更优的特征聚合？

主要发现

• 与先前最先进方法相比，SIENet在KITTI 3D检测基准的所有距离范围内平均AP提升了3.23。
• 在中等距离下AP提升5.13，在远距离（20米以上）提升4.39，表明其在稀疏点云场景下具有显著的鲁棒性。
• 消融实验证实，采用注意力融合的SIE模块带来最高性能增益，分别使中等难度与困难难度AP提升0.84%与0.42%。
• 同时包含辅助分支与上下文融合组件的HP-RPN表现最佳，分别在易、中、难样本上带来0.54%、0.95%与0.38%的AP提升。
• 移除SIE模块后性能显著下降，证实其在增强边界框精化特征表示方面具有关键作用。
• 模型在近距离（AP ~92）保持了优异性能，同时在远距离显著超越其他方法，验证了其对远距离检测的重点优化。