[论文解读] Task-Relevant Failure Detection for Trajectory Predictors in Autonomous Vehicles

Alec Farid, Sushant Veer+3 more|arXiv (Cornell University)|Jul 25, 2022

Autonomous Vehicle Technology and Safety被引用 9

一句话总结

本文提出了一种面向自动驾驶车辆轨迹预测器的任务相关故障检测器，通过分析其对下游规划成本的影响，仅识别有害的预测误差。该方法利用概率运行时监控器，将实际规划器成本与预测的成本分布进行比较，实现了最先进的性能，AUROC值较高，并可通过理论上的假阳性率和假阴性率保证实现无需数据的校准。

ABSTRACT

In modern autonomy stacks, prediction modules are paramount to planning motions in the presence of other mobile agents. However, failures in prediction modules can mislead the downstream planner into making unsafe decisions. Indeed, the high uncertainty inherent to the task of trajectory forecasting ensures that such mispredictions occur frequently. Motivated by the need to improve safety of autonomous vehicles without compromising on their performance, we develop a probabilistic run-time monitor that detects when a "harmful" prediction failure occurs, i.e., a task-relevant failure detector. We achieve this by propagating trajectory prediction errors to the planning cost to reason about their impact on the AV. Furthermore, our detector comes equipped with performance measures on the false-positive and the false-negative rate and allows for data-free calibration. In our experiments we compared our detector with various others and found that our detector has the highest area under the receiver operator characteristic curve.

研究动机与目标

• 解决自动驾驶车辆运动规划中因轨迹预测不准确而带来的安全关键风险。
• 开发一种仅在显著降低规划器成本的预测误差上触发的故障检测器，确保任务相关性。
• 在无需标注故障数据的情况下，提供可解释的性能保证（假阳性率与假阴性率）。
• 通过使检测器独立于预测模型，实现与现有自动驾驶系统堆栈的高效、即插即用式集成。
• 在nuScenes和nuPlan数据集上，相较于现有方法，展示出更优的检测性能。

提出的方法

• 检测器基于轨迹预测构建未来规划器成本的预测分布。
• 当实际成本位于预测成本分布的上-p分位数时，判定为故障，表明可能存在有害偏差。
• 该方法利用统计界 bounds 提供假阳性率与假阴性率的理论保证，实现无需数据的校准。
• 检测器独立于预测模型运行，支持模块化地集成到现有自动驾驶系统中。
• 性能通过受试者工作特征曲线下面积（AUROC）进行评估，校准通过理论分位数选择实现，无需标注数据。
• 该方法在真实世界数据集（nuScenes、nuPlan）上进行了验证，并与多种基线方法（包括HJ可达性、TTC、似然法和UDT）进行了比较。

实验结果

研究问题

• RQ1 运行时监控器能否仅检测那些真正危害自动驾驶车辆安全的轨迹预测故障？
• RQ2 如何设计一种既具备任务相关性又独立于预测模型的故障检测器？
• RQ3 能否在不依赖标注故障数据的情况下，提供性能保证（FPR与FNR）？
• RQ4 无需数据的校准在多大程度上能实现接近最优校准检测器的性能？
• RQ5 在真实驾驶场景中，所提出的检测器相较于现有方法，在AUROC和检测质量方面表现如何？

主要发现

• 所提出的检测器在所有对比方法中取得了最高的受试者工作特征曲线下面积（AUROC），表明其具有更优的检测性能。
• 无需数据校准的检测器的AUROC值非常接近最优校准检测器，证明了其在无标注数据情况下的强大实际有效性。
• 检测器成功识别出关键场景，如行人突然进入自车路径，同时避免了对良性预测误差的误报。
• 似然法和HJ可达性等方法在准确预测上产生大量假阳性，而所提方法能有效过滤这些误报。
• 在检测任务相关故障方面，检测器优于UDT、PDT和HJ可达性，尤其在十字路口交互等复杂场景中表现更优。
• 实验结果表明，检测器保持了较低的假阳性率与假阴性率，理论界与实际观测性能高度吻合。