[论文解读] Systematic Testing of Convolutional Neural Networks for Autonomous Driving

Tommaso Dreossi, Shromona Ghosh+2 more|arXiv (Cornell University)|Aug 10, 2017

Adversarial Robustness in Machine Learning参考文献 13被引用 34

一句话总结

本文提出了一套系统化的框架，通过受控参数化场景元素生成逼真的合成图像，对自动驾驶系统中的卷积神经网络（CNN）进行测试。结合可配置的图像生成器、自适应采样策略（包括贝叶斯优化）以及可视化工具，该方法识别出SqueezeDet和YOLO等CNN模型的检测盲区和性能退化模式，揭示了关键故障案例，例如在特定空间区域或远距离时对车辆的误分类。

ABSTRACT

We present a framework to systematically analyze convolutional neural networks (CNNs) used in classification of cars in autonomous vehicles. Our analysis procedure comprises an image generator that produces synthetic pictures by sampling in a lower dimension image modification subspace and a suite of visualization tools. The image generator produces images which can be used to test the CNN and hence expose its vulnerabilities. The presented framework can be used to extract insights of the CNN classifier, compare across classification models, or generate training and validation datasets.

研究动机与目标

• 为解决在形式化验证不可行的安全关键型自动驾驶系统中验证深度神经网络的挑战。
• 系统性地识别基于CNN的目标检测器的故障案例与鲁棒性漏洞，而无需依赖对抗性扰动。
• 生成多样化、逼真的训练与验证数据集，以适应特定道路场景，从而提升模型开发效果。
• 通过在空间配置下可视化性能指标，实现对不同CNN架构（如SqueezeDet与YOLO）的对比分析。
• 提供一种可扩展、用户可配置的工具链，用于在受控环境变化下探测CNN的行为。

提出的方法

• 该框架使用参数化图像生成器，通过排列物体（如车辆、背景）并调节图像参数（亮度、对比度、饱和度），在保持纵横比的前提下合成逼真的道路场景。
• 在这些参数上定义一个修改空间，并采用采样技术（包括用于均匀覆盖的Halton序列，以及用于针对性故障发现的贝叶斯优化）来探索该空间。
• 贝叶斯优化组件将CNN的预测置信度和IOU建模为高斯过程，利用置信下界来平衡探索与利用，以高效发现误分类图像。
• 系统收集并存储图像配置、生成的图像以及CNN输出（标签、置信度、IOU）至数据结构中，以供分析。
• 可视化工具将车辆位置（x, y）映射为空间坐标，颜色表示预测置信度，标记大小表示IOU，从而实现对检测失败的空间定位。
• 该框架支持与多种CNN（如SqueezeDet、YOLO、KittiBox）集成，并允许自定义背景与车辆模型。

实验结果

研究问题

• RQ1 我们如何系统性地生成逼真且多样的训练与测试图像，以探测自动驾驶场景中CNN的行为？
• RQ2 基于CNN的目标检测器在何种空间与环境条件下会失效，例如存在盲区或在远距离时准确率下降？
• RQ3 贝叶斯优化如何在不扰动真实图像的前提下，高效发现类似对抗性攻击的故障案例？
• RQ4 在不同图像配置下对置信度与IOU进行可视化，在多大程度上能揭示不同CNN模型之间的架构差异？
• RQ5 合成数据集生成框架在安全关键应用中，能否有效支持模型基准测试与鲁棒性分析？

主要发现

• SqueezeDet在道路中右区域存在明显的检测盲区，可视化中表现为该区域低置信度（蓝色）预测的聚集。
• YOLO在车辆与摄像头距离增加时，置信度与IOU均显著下降，揭示了随目标距离增加而产生的性能退化趋势。
• 该框架成功识别出YOLO在场景最左侧区域存在一个故障区域，该区域检测置信度急剧下降。
• Halton采样实现了对修改空间的均匀覆盖，而GP-LCB优化则以极少采样次数高效定位了高风险配置。
• 使用相同合成数据集对SqueezeDet与YOLO进行可视化对比，清晰揭示了两者在检测鲁棒性与空间敏感性方面的差异。
• 该框架在识别模型特异性漏洞方面展现出实际应用价值，支持自动驾驶系统中的模型选型与优化。