[论文解读] Safety Validation of Autonomous Vehicles using Assertion Checking

Christopher R. Harper, Greg Chance+4 more|arXiv (Cornell University)|Nov 8, 2021

Software Testing and Debugging Techniques被引用 6

一句话总结

本文提出了一套系统化的方法，将自然语言驾驶规则（特别是英国公路法规）转化为形式化、可机器验证的断言，用于验证自动驾驶汽车（AV）的安全性和任务性能。通过断言类型分类体系，该方法实现了基于SQL的时空数据运行时与仿真监控，通过Carla仿真器和视频分析实验，展示了在超车场景中的可行性。

ABSTRACT

Safety and mission performance validation of autonomous vehicles (AVs) is a major challenge. In this paper we describe a methodology for constructing and applying assertion checks to validate the behaviour of an AV operating either in simulation or in the real world. We have identified a taxonomy of assertion types and the general format of their specification, and we have developed procedures for translating driving codes of practice to yield formal logical expressions that can be monitored automatically by computer, either by direct translation or by physical modelling. We have developed examples of assertions derived from the UK Highway Code (UKHC), as an example of a code of practice. We illustrate the approach with an example of assertion checking for vehicle overtaking, using a geospatial information system in an SQL database for validation and performance assessment. We present initial simulation and runtime monitoring experiments that apply assertions relevant in this overtaking scenario together with an analysis of the safety and mission performance characteristics measured.

研究动机与目标

• 为解决自动驾驶汽车行为与具有法律约束力、可读性强的驾驶规范实践之间的验证挑战。
• 开发一种系统化方法，将模糊、依赖上下文的驾驶规则转化为形式化、可机器验证的逻辑断言。
• 通过这些断言实现基于仿真的验证与实时运行时监控。
• 证明可使用监管文件（如英国公路法规）作为自动驾驶汽车安全与性能验证的基础。
• 通过提供可审计、可解释的自动驾驶汽车合规记录，支持事故后分析与责任评估。

提出的方法

• 基于可观察、可测量的车辆行为，开发了断言类型的分类体系，包括参考点与触发条件。
• 使用直接翻译与物理建模技术，将英国公路法规中的自然语言规则转化为形式化逻辑表达式。
• 通过在PostgreSQL/PostGIS数据库上执行的SQL查询实现断言检查，以验证Carla仿真器生成的仿真轨迹。
• 将相同的断言框架应用于视频数据分析，模拟自动驾驶汽车行为的实时运行时监控。
• 集成地理信息系统（GIS），评估超车场景中车辆位置、速度与操作序列。
• 结合仿真与基于视频的分析，评估由断言违规推导出的安全性与任务性能指标。

实验结果

研究问题

• RQ1 如何系统化地将类似英国公路法规等实践规范中的自然语言驾驶规则转化为形式化、可机器验证的断言？
• RQ2 基于断言的监控在仿真与运行时环境中，能在多大程度上检测自动驾驶汽车行为中的安全与任务性能违规？
• RQ3 空间数据库与基于SQL的查询能否有效验证自动驾驶汽车行为与复杂、上下文敏感的驾驶规则？
• RQ4 断言检查如何支持自动驾驶汽车系统的可解释性与事故后分析？
• RQ5 在不同运行场景下，使用监管文件作为自动驾驶汽车安全验证基础的可行性如何？

主要发现

• 该方法成功将163条英国公路法规条文转化为形式化断言，证明了可读规则可系统性地编码为机器可验证形式。
• 使用Carla仿真器的仿真实验表明，断言检查能够检测到超车程序违规，如过早变道或未检查盲区。
• 基于视频数据的实时监控验证了该断言框架在实时行为评估中的可行性，支持对自动驾驶汽车决策的可追溯性。
• 使用PostGIS增强的SQL查询，有效实现了对车辆轨迹与操作序列的空间与时间验证。
• 断言检查揭示，即使自动驾驶汽车的轨迹看似安全，仍可能违反程序性规则，凸显了超越运动学的纯行为验证的必要性。
• 该方法为自动驾驶汽车中的可解释人工智能提供了基础，因为断言违规可追溯至特定的感知与决策步骤，支持事故后分析。