[论文解读] Reinforced Axial Refinement Network for Monocular 3D Object Detection

Lijie Liu, Chufan Wu+4 more|arXiv (Cornell University)|Aug 31, 2020

Advanced Neural Network Applications参考文献 50被引用 6

一句话总结

该论文提出了一种基于强化学习的后处理框架——强化轴向精炼网络（RAR-Net），通过逐次调整一个轴向参数，迭代优化单目图像中的3D目标检测框。该方法在KITTI数据集上将3D平均精度（3D AP）提升最高达18.25%，且计算开销极低，显著提升了采样效率与检测精度。

ABSTRACT

Monocular 3D object detection aims to extract the 3D position and properties of objects from a 2D input image. This is an ill-posed problem with a major difficulty lying in the information loss by depth-agnostic cameras. Conventional approaches sample 3D bounding boxes from the space and infer the relationship between the target object and each of them, however, the probability of effective samples is relatively small in the 3D space. To improve the efficiency of sampling, we propose to start with an initial prediction and refine it gradually towards the ground truth, with only one 3d parameter changed in each step. This requires designing a policy which gets a reward after several steps, and thus we adopt reinforcement learning to optimize it. The proposed framework, Reinforced Axial Refinement Network (RAR-Net), serves as a post-processing stage which can be freely integrated into existing monocular 3D detection methods, and improve the performance on the KITTI dataset with small extra computational costs.

研究动机与目标

• 解决因3D空间中正样本稀疏而导致的采样效率低下问题。
• 通过一系列受控的轴向参数调整，对初始预测结果进行精炼，以提升3D检测精度。
• 开发一种即插即用的精炼模块，兼容现有单目3D检测器，无需微调即可提升性能。
• 利用强化学习优化精炼策略，以在多步过程中最大化累积3D-IoU增益。
• 设计一种有效的状态表示方法，融合2D图像特征与3D检测框几何信息，以提升引导效果。

提出的方法

• 将3D精炼过程建模为马尔可夫决策过程（MDP），其中每个动作仅修改3D边界框的一个轴向参数（x、y、z、宽度、高度、深度）。
• 采用深度Q网络（DQN），其输入为6通道张量：原始RGB图像与当前3D框的彩色编码2D投影图拼接，以提供空间与几何上下文信息。
• 将动作空间定义为沿六个3D参数的离散步长，实现稳定且可解释的精炼过程，且具有受控的步长。
• 通过抖动的真实标注框进行密集监督，生成合成轨迹，以高效地进行强化学习预训练。
• 采用基于密集3D-IoU的密集奖励信号，对策略进行端到端优化，该信号在多步精炼过程中累积。
• 将RAR-Net作为后处理模块集成到任意单目3D检测器之后，实现即插即用的部署，且延迟极低。

实验结果

研究问题

• RQ1 在单目设置下，由强化学习引导的迭代轴向精炼是否能显著提升3D检测精度？
• RQ2 状态表示的设计——结合2D图像与3D框投影——如何影响精炼性能？
• RQ3 离散动作空间与步长大小对精炼过程的收敛性与精度有何影响？
• RQ4 强化学习在3D框精炼中相较于直接回归或启发式精炼策略，优势有多大？
• RQ5 所提方法能否作为轻量级后处理模块高效部署，且不降低推理速度？

主要发现

• 当应用于GS3D基线模型时，RAR-Net在KITTI 3D目标检测基准上将3D平均精度（3D AP）最高提升18.25%。
• 该方法仅增加0.3秒推理时间，即实现3D AP 4%的相对提升，远低于基检测器所需的2秒。
• 采用受控步长的离散轴向精炼优于直接连续回归，后者常因优化不稳定而失败。
• 所提出的图像增强方法——将3D框投影为彩色编码的2D图像——相比简单特征融合，显著提升了性能。
• 强化学习对于优化完整精炼轨迹至关重要，消融实验证明其性能超越监督或启发式基线方法。
• 精炼步数与步长大小对精度与速度均有显著影响，较小步长可获得更优结果，但需付出更高的推理时间成本。