[论文解读] Patch Refinement -- Localized 3D Object Detection

Johannes M. Lehner, Andreas Mitterecker+4 more|arXiv (Cornell University)|Oct 9, 2019

Advanced Neural Network Applications参考文献 20被引用 26

一句话总结

Patch Refinement 提出了一种两阶段 3D 目标检测框架，采用区域建议网络（RPN）和局部精炼网络（LRN），通过处理小点云补丁实现高精度定位。通过将鸟瞰图（BEV）检测与局部 3D 回归解耦，该方法在 KITTI 数据集上实现了最先进性能，仅使用 50% 的训练数据和 LiDAR 输入，便在所有汽车难度级别上超越了先前方法。

ABSTRACT

We introduce Patch Refinement a two-stage model for accurate 3D object detection and localization from point cloud data. Patch Refinement is composed of two independently trained Voxelnet-based networks, a Region Proposal Network (RPN) and a Local Refinement Network (LRN). We decompose the detection task into a preliminary Bird's Eye View (BEV) detection step and a local 3D detection step. Based on the proposed BEV locations by the RPN, we extract small point cloud subsets ("patches"), which are then processed by the LRN, which is less limited by memory constraints due to the small area of each patch. Therefore, we can apply encoding with a higher voxel resolution locally. The independence of the LRN enables the use of additional augmentation techniques and allows for an efficient, regression focused training as it uses only a small fraction of each scene. Evaluated on the KITTI 3D object detection benchmark, our submission from January 28, 2019, outperformed all previous entries on all three difficulties of the class car, using only 50 % of the available training data and only LiDAR information.

研究动机与目标

• 为解决在稀疏 LiDAR 点云中实现高精度 3D 目标检测的挑战，特别是单阶段模型因内存限制和均匀体素分辨率带来的局限性。
• 通过聚焦于以目标为中心的补丁进行高分辨率特征学习，而非整个场景，从而提升定位精度。
• 通过解耦检测与精炼阶段，实现独立训练，支持高级数据增强策略，并实现更高效的回归导向学习。
• 证明即使 RPN 并非最优，轻量级 RPN 仍可与高分辨率 LRN 有效结合，实现卓越性能。

提出的方法

• 该方法采用两阶段流水线：首先，基于 VoxelNet 的 RPN 生成潜在目标的 2D 鸟瞰图（BEV）提议。
• 从这些提议中，提取以每个候选目标位置为中心的小型 3D 点云子集（补丁）。
• 一个独立训练的局部精炼网络（LRN）以更高体素分辨率处理每个补丁，从而实现更精确的 3D 边界框回归。
• LRN 使用 VoxelNet 架构并修改头部连接方式，以优化回归任务，同时受益于辅助回归目标，实现更快、更稳定的训练。
• RPN 与 LRN 独立训练，使 LRN 可使用数据增强技术，并避免批量归一化带来的干扰。
• 通过在补丁上预训练 RPN，再在完整场景上微调，该框架支持领域自适应。

实验结果

研究问题

• RQ1 是否可通过解耦提议生成与局部精炼的两阶段 3D 检测流水线，提升在稀疏 LiDAR 数据上的检测精度？
• RQ2 与在全场景上使用均匀分辨率处理相比，对小而以目标为中心的补丁使用更高体素分辨率处理，是否能带来更好的 3D 定位效果？
• RQ3 当与性能较弱的 RPN 结合时，独立训练的局部精炼网络（LRN）能在多大程度上提升检测性能？
• RQ4 辅助回归目标与数据增强策略对 LRN 训练稳定性与性能有何影响？
• RQ5 能否在补丁上有效预训练轻量级 RPN，再在完整场景上微调，以提升泛化能力？

主要发现

• Patch Refinement 模型在 KITTI 3D 检测基准上，对易类汽车实例达到 89.61% AP，超越了截至 2019 年 1 月 28 日的所有先前提交结果，且仅使用 50% 的训练数据。
• 该模型在中等难度和困难难度汽车实例上分别达到 79.04% AP 和 77.96% AP，在所有三个难度级别上均优于此前所有方法。
• 若省略辅助回归目标，训练过程变慢且不稳定，性能明显下降，表明其对训练效率与鲁棒性至关重要。
• 采用特征图 B 和 C 用于检测、A 和 X 用于回归的主干变体（BC/AX）达到最佳平衡，而移除回归图（BC/A）导致易类与中等类性能下降。
• 当从真实框提议中精炼时，LRN 达到接近最优性能（易类 89.58% AP，中等类 79.31% AP，困难类 78.79% AP），表明 RPN 的提议质量是主要瓶颈。
• 在完整场景上微调前，先在补丁上预训练 RPN，可实现快速收敛，仅需额外一个训练周期即超越 VoxelNet 的中等难度 AP（65.46）