[论文解读] Rethinking Trajectory Forecasting Evaluation

Boris Ivanovic, Marco Pavone|arXiv (Cornell University)|Jul 21, 2021

Autonomous Vehicle Technology and Safety参考文献 31被引用 8

一句话总结

本文提出了用于轨迹预测的任务感知评估指标，认为标准的基于准确率的指标（如ADE和FDE）无法捕捉预测结果在现实世界中的不对称性。该文引入了一种规划感知指标（piADE/piFDE），通过利用对下游规划的梯度敏感性，实验表明：在指标分数相同的情况下，不同预测对运动规划的影响可能截然不同，其中一种预测使规划敏感性提高了25%，尽管其ADE/FDE得分完全相同。

ABSTRACT

Forecasting the behavior of other agents is an integral part of the modern robotic autonomy stack, especially in safety-critical scenarios with human-robot interaction, such as autonomous driving. In turn, there has been a significant amount of interest and research in trajectory forecasting, resulting in a wide variety of approaches. Common to all works, however, is the use of the same few accuracy-based evaluation metrics, e.g., displacement error and log-likelihood. While these metrics are informative, they are task-agnostic and predictions that are evaluated as equal can lead to vastly different outcomes, e.g., in downstream planning and decision making. In this work, we take a step back and critically evaluate current trajectory forecasting metrics, proposing task-aware metrics as a better measure of performance in systems where prediction is being deployed. We additionally present one example of such a metric, incorporating planning-awareness within existing trajectory forecasting metrics.

研究动机与目标

• 解决标准轨迹预测指标的局限性，这些指标与任务无关，无法反映预测误差在现实世界中的后果。
• 强调具有相同准确率分数的预测在下游规划与决策中可能导致截然不同的结果。
• 提出一种反映预测对系统行为实际影响的任务感知评估框架。
• 通过基于梯度的下游规划敏感性，展示一种规划感知指标的具体实现。
• 倡导将任务感知指标整合到自动驾驶系统的评估与训练流程中。

提出的方法

• 提出一种规划感知指标（piADE/piFDE），通过将规划成本相对于代理预测的梯度纳入标准准确率指标，实现改进。
• 使用自动微分计算自车成本函数对预测代理轨迹的规划敏感性（梯度幅值）。
• 应用一个权重函数 f(a,g) 根据自车计划对预测误差的敏感性 g 对指标进行缩放，其中 g 表示规划敏感性。
• 在具有单体动力学和径向基函数碰撞项的Gym环境中，采用可微分的运动规划设置，并使用预训练策略。
• 使用CIOC从轨迹中学习成本函数权重 θ，实现指标的端到端可微性。
• 在高规划敏感性场景（如迎面碰撞）和低敏感性场景（如远距离代理）中验证该指标，结果表现出一致的行为。

实验结果

研究问题

• RQ1 标准轨迹预测指标（如ADE和FDE）为何无法反映预测结果在现实世界中的不对称性？
• RQ2 规划敏感性在多大程度上可作为预测误差对下游影响的代理指标？
• RQ3 能否构建一种可微分的、规划感知的指标，以真实反映预测对运动规划的影响？
• RQ4 在指标分数相同的情况下，不同预测对自车规划的影响有何差异？这种差异能否被量化？
• RQ5 此类指标是否不仅能用于评估，还能用于指导预测模型的训练？

主要发现

• 两个预测的ADE（0.075）和FDE（0.15）得分完全相同，但其规划敏感性分别为0.90（紫色）和0.21（绿色），表明前者的下游影响更大。
• 尽管原始指标分数相同，规划感知指标（piADE/piFDE）在高敏感性预测（紫色）上提高了25%。
• 在低影响场景（如远距离代理）中，规划敏感性接近零，piADE/piFDE值与标准ADE/FDE一致，验证了该方法的合理性。
• 该指标成功识别出：即使几何误差相同，偏离自车路径的预测对规划的影响远大于远离路径的预测。
• 所提出的指标完全可微，可潜在集成至训练流程中，以优化下游规划性能。
• 结果表明，与任务无关的指标可能掩盖影响安全与运动规划的关键预测质量差异。