[论文解读] Neural Network Guided Evolutionary Fuzzing for Finding Traffic Violations of Autonomous Vehicles

Ziyuan Zhong, Gail E. Kaiser+1 more|arXiv (Cornell University)|Sep 13, 2021

Software Testing and Debugging Techniques参考文献 60被引用 10

一句话总结

该论文提出 AutoFuzz，一种基于语法引导、神经网络增强的进化模糊测试技术，可生成语义上有效、复杂的驾驶场景，以发现自动驾驶（AV）控制器中的交通违规行为。通过利用仿真器 API 语法并借助约束神经网络优化搜索过程，AutoFuzz 在四个 AV 控制器的高保真仿真环境中，相比基线方法多发现 10–39% 的唯一交通违规行为。

ABSTRACT

Self-driving cars and trucks, autonomous vehicles (AVs), should not be accepted by regulatory bodies and the public until they have much higher confidence in their safety and reliability -- which can most practically and convincingly be achieved by testing. But existing testing methods are inadequate for checking the end-to-end behaviors of AV controllers against complex, real-world corner cases involving interactions with multiple independent agents such as pedestrians and human-driven vehicles. While test-driving AVs on streets and highways fails to capture many rare events, existing simulation-based testing methods mainly focus on simple scenarios and do not scale well for complex driving situations that require sophisticated awareness of the surroundings. To address these limitations, we propose a new fuzz testing technique, called AutoFuzz, which can leverage widely-used AV simulators' API grammars to generate semantically and temporally valid complex driving scenarios (sequences of scenes). To efficiently search for traffic violations-inducing scenarios in a large search space, we propose a constrained neural network (NN) evolutionary search method to optimize AutoFuzz. Evaluation of our prototype on one state-of-the-art learning-based controller, two rule-based controllers, and one industrial-grade controller in five scenarios shows that AutoFuzz efficiently finds hundreds of traffic violations in high-fidelity simulation environments. For each scenario, AutoFuzz can find on average 10-39% more unique traffic violations than the best-performing baseline method. Further, fine-tuning the learning-based controller with the traffic violations found by AutoFuzz successfully reduced the traffic violations found in the new version of the AV controller software.

研究动机与目标

• 解决在仿真环境中检测自动驾驶（AV）控制器中罕见、复杂交通违规行为时缺乏可扩展且有效测试方法的问题。
• 克服真实世界测试（成本高、覆盖范围有限）和传统基于仿真的测试（场景多样性有限、可扩展性差）的局限性。
• 开发一种模糊测试框架，通过利用仿真器 API 语法生成在语义和时间上均有效的驾驶场景。
• 在进化算法框架内，利用约束神经网络优化搜索过程，以寻找引发违规行为的场景。
• 通过重新训练验证该方法在识别多样化、真实交通违规行为并提升 AV 控制器鲁棒性方面的有效性。

提出的方法

• 利用广泛使用的 AV 仿真器的 API 语法，生成作为模糊测试种子输入的有效初始场景配置。
• 应用基于语法的变异操作，生成保持驾驶场景语义和时间有效性的新测试用例。
• 采用进化算法引导搜索过程，其中适应度函数基于检测到的交通违规行为的多样性和严重性定义。
• 集成约束神经网络以建模搜索空间，并优先考虑有希望的输入变异，从而提升收敛速度和覆盖范围。
• 使用黑盒仿真评估每个生成的场景，检测如碰撞、危险变道和未让行等交通违规行为。
• 应用可配置的唯一性度量标准，参数为 $th_1$ 和 $th_2$，以量化并过滤出不同的违规行为，减少冗余。

实验结果

研究问题

• RQ1 基于语法引导、神经网络增强的进化模糊测试器是否能有效生成语义上有效、复杂的自动驾驶测试场景？
• RQ2 在高保真仿真环境中，此类模糊测试器相较于现有基线方法，能在多大程度上发现更多唯一交通违规行为？
• RQ3 模糊测试器发现的交通违规行为是否可用于通过重新训练提升基于学习的 AV 控制器的鲁棒性？
• RQ4 约束神经网络在不违反语义约束的前提下，引导进化搜索过程朝向引发违规行为的场景方面有多高效？
• RQ5 场景复杂度和环境因素（如天气、交通密度）的变化对交通违规行为检测率有何影响？

主要发现

• AutoFuzz 在高保真仿真环境中的五个复杂驾驶场景中，发现了数百个唯一且真实的交通违规行为。
• 在每个场景中，AutoFuzz 发现的唯一违规行为比表现最佳的基线方法多 10–39%，表明其具有更优的覆盖范围和多样性。
• 该方法成功识别出涉及突然停车、未让行以及与行人或障碍物碰撞的违规行为，与真实世界车祸场景高度相似。
• 使用 AutoFuzz 发现的违规行为对基于学习的 AV 控制器进行重新训练后，新版本中类似违规行为的数量显著减少。
• 约束神经网络显著提升了搜索效率，使搜索聚焦于输入空间中更具前景的区域，减少了无效或冗余测试用例的生成。
• 该方法在多种 AV 控制器中均表现有效，包括一个工业级系统（Apollo 6.0），表明其在真实世界 AV 软件栈中具有广泛适用性。