[论文解读] Revisiting 3D Object Detection From an Egocentric Perspective

Boyang Deng, Charles R. Qi+4 more|arXiv (Cornell University)|Dec 14, 2021

Advanced Neural Network Applications被引用 9

一句话总结

本文提出支持距离误差（SDE），一种用于3D目标检测的自中心度量，通过测量到物体边界的横向和纵向距离来评估检测误差对自车代理安全性和运动规划的影响。该文还提出StarPoly，一种轻量级模型，通过预测非可视星形轮廓来提升几何精度，显著降低SDE，并在Waymo开放数据集的多个基准上超越基于框的检测器。

ABSTRACT

3D object detection is a key module for safety-critical robotics applications such as autonomous driving. For these applications, we care most about how the detections affect the ego-agent's behavior and safety (the egocentric perspective). Intuitively, we seek more accurate descriptions of object geometry when it's more likely to interfere with the ego-agent's motion trajectory. However, current detection metrics, based on box Intersection-over-Union (IoU), are object-centric and aren't designed to capture the spatio-temporal relationship between objects and the ego-agent. To address this issue, we propose a new egocentric measure to evaluate 3D object detection, namely Support Distance Error (SDE). Our analysis based on SDE reveals that the egocentric detection quality is bounded by the coarse geometry of the bounding boxes. Given the insight that SDE would benefit from more accurate geometry descriptions, we propose to represent objects as amodal contours, specifically amodal star-shaped polygons, and devise a simple model, StarPoly, to predict such contours. Our experiments on the large-scale Waymo Open Dataset show that SDE better reflects the impact of detection quality on the ego-agent's safety compared to IoU; and the estimated contours from StarPoly consistently improve the egocentric detection quality over recent 3D object detectors.

研究动机与目标

• 为解决标准IoU度量在评估自中心机器人应用（如自动驾驶）中3D目标检测时的局限性。
• 开发一种新度量，反映检测物体与自车代理规划轨迹之间的时空关系。
• 通过使用更精确的几何描述改进边界框表示，从而提升检测质量，尤其在自车代理路径附近。
• 提出一种轻量级、端到端的非可视轮廓预测方法，提升自中心检测性能，且无需直接监督。

提出的方法

• 提出支持距离误差（SDE）作为新自中心度量，测量预测物体边界与自车代理轨迹之间的横向和纵向距离误差。
• 引入SDE-AP与SDE-APD，通过距离加权评分聚合误差，将SDE整合进标准平均精度。
• 设计StarPoly，一种神经网络，接收3D检测框并使用基于PointNet的编码器与固定角度采样边界方向，预测非可视星形多边形轮廓。
• 采用带有gamma与beta超参数的可微损失函数优化轮廓预测，实现无需真实轮廓监督的端到端训练。
• 将SDE与SDE-APD应用于当前与未来时间步的检测器评估，捕捉长期规划影响。
• 采用256个点的均匀角度采样表示方形边界，以实现高效且可微的几何估计。

实验结果

研究问题

• RQ1 标准IoU度量为何无法准确反映检测误差对自车代理安全与运动规划的真实影响？
• RQ2 3D边界框的粗略几何结构在多大程度上限制了自车代理路径附近的检测质量？
• RQ3 与标准框预测相比，非可视轮廓表示（如星形多边形）能否显著提升自中心检测性能？
• RQ4 所提出的SDE度量在多大程度上揭示了传统IoU-AP所忽略的检测器性能差异，尤其是在短距离检测中？
• RQ5 像StarPoly这样的轻量级自监督方法能否有效优化检测框，以降低SDE并提升关键安全感知性能？

主要发现

• SDE表明，边界框的粗略几何结构对自车代理路径附近的检测质量构成根本性限制。
• 尽管PointPillars的总体IoU-AP最低，但在[0m, 5m]范围内SDE-AP最高，表明其短距离性能被标准度量所忽略。
• StarPoly在所有评估检测器中持续提升SDE-APD，使5F-MVF++与PV-RCNN的高性能与低性能检测器之间的差距缩小了三倍。
• StarPoly在性能上优于基于框的预测与凸可见轮廓（CVC），且CVC因在遮挡区域泛化能力差，性能随时间显著下降。
• SDE-APD度量揭示了IoU-AP未能捕捉的检测器性能差异，尤其在近距检测中，证明其作为更具区分性与安全相关性的基准的价值。
• 定性结果表明，StarPoly轮廓在物体角落与遮挡侧的几何逼近更准确，导致SDE值更低。