[论文解读] SURE-Val: Safe Urban Relevance Extension and Validation

Kai Storms, Ken Mori+1 more|arXiv (Cornell University)|Aug 4, 2023

Autonomous Vehicle Technology and SafetyEngineering被引用 3

一句话总结

本文提出 SURE-Val，一种新颖方法，用于扩展并验证城市环境中自动驾驶感知的相关性准则。该方法将基于高速公路的相关性框架适配至城市场景，并提出一种基于运动预测的验证方法：若在大规模数据集上移除无关对象后预测性能未下降，则认为相关性准则有效。该方法成功验证了其自身的准则，在真实城市驾驶场景中展现出鲁棒性与可解释性。

ABSTRACT

To evaluate perception components of an automated driving system, it is necessary to define the relevant objects. While the urban domain is popular among perception datasets, relevance is insufficiently specified for this domain. Therefore, this work adopts an existing method to define relevance in the highway domain and expands it to the urban domain. While different conceptualizations and definitions of relevance are present in literature, there is a lack of methods to validate these definitions. Therefore, this work presents a novel relevance validation method leveraging a motion prediction component. The validation leverages the idea that removing irrelevant objects should not influence a prediction component which reflects human driving behavior. The influence on the prediction is quantified by considering the statistical distribution of prediction performance across a large-scale dataset. The validation procedure is verified using criteria specifically designed to exclude relevant objects. The validation method is successfully applied to the relevance criteria from this work, thus supporting their validity.

研究动机与目标

• 将基于高速公路的相关性框架扩展至城市驾驶领域。
• 解决自动驾驶中感知相关性准则缺乏验证方法的问题。
• 开发一种可扩展、可解释且鲁棒的基于运动预测的相关性准则验证方法。
• 确保相关性准则不会损害下游预测性能，从而支持安全保证。
• 为未来自动驾驶感知中相关性与验证工作提供参考框架。

提出的方法

• 将 SACRED 方法扩展至城市场景，包括交叉路口和超车操作。
• 基于运动可达性与交通上下文，定义分析性、可解释的相关性准则。
• 使用运动预测模型作为下游组件，评估对象相关性的影响。
• 通过分析大规模数据集中预测性能的统计分布，量化相关性的影响。
• 应用一种验证程序，通过过滤掉已知相关对象来测试性能是否下降，从而验证准则。
• 使用 p 值阈值评估性能变化的统计显著性，确保对预测中随机噪声的鲁棒性。

实验结果

研究问题

• RQ1 如何将高速公路领域中的相关性准则有意义地扩展至复杂的城市驾驶场景？
• RQ2 采用何种方法可验证感知相关性准则的有效性，以反映真实世界的安全需求？
• RQ3 移除无关对象在多大程度上影响运动预测性能，且该影响能否作为验证信号？
• RQ4 非神经网络的分析性相关性模型是否既能实现计算高效，又能对预测模型的不确定性保持鲁棒？
• RQ5 如何在不依赖人工标注或启发式合理性检查的前提下，验证相关性准则的有效性？

主要发现

• 所提出的用于城市场景的相关性准则通过基于运动预测的方法成功得到验证，显示在移除无关对象后性能无显著下降。
• 验证方法通过移除一个已知相关对象（正前方的车辆）成功使测试输入失效，导致可测量的性能恶化。
• 该方法通过依赖大量场景的全局性能分布，对轨迹预测中的局部噪声和随机性表现出鲁棒性。
• 仅有 10% 的对象被相关性准则排除，表明这是一种保守但有效的过滤方法，能维持安全性。
• 该方法计算高效且可解释，避免了对复杂神经网络进行相关性计算的依赖。
• 验证框架具有通用性，可应用于其他预测模型和数据集，但需在更多样化和高风险场景中进一步测试。