[论文解读] Strategy to Increase the Safety of a DNN-based Perception for HAD Systems

Timo Sämann, Peter Schlicht+1 more|arXiv (Cornell University)|Feb 20, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用 11

一句话总结

本文提出了一套全面的框架，通过将深度神经网络（DNN）的不足分类为五类——泛化能力不足、鲁棒性不足、可解释性不足、合理性不足和效率不足——并将其与遗传性和后天获得性原因相关联，以提升高度自动化驾驶（HAD）系统中基于DNN的感知安全性。该框架在DNN开发全生命周期内引入了安全机制，并定义了一个多维评估指标体系，用于衡量安全机制的有效性，支持安全保证案例的基准测试与统计验证。

ABSTRACT

Safety is one of the most important development goals for highly automated driving (HAD) systems. This applies in particular to the perception function driven by Deep Neural Networks (DNNs). For these, large parts of the traditional safety processes and requirements are not fully applicable or sufficient. The aim of this paper is to present a framework for the description and mitigation of DNN insufficiencies and the derivation of relevant safety mechanisms to increase the safety of DNNs. To assess the effectiveness of these safety mechanisms, we present a categorization scheme for evaluation metrics.

研究动机与目标

• 为解决基于DNN的感知在高度自动化驾驶（HAD）系统中面临的安全挑战，传统安全方法难以应对这一关键问题。
• 识别并分类导致不安全行为的DNN内在与开发过程中产生的弱点（即不足）。
• 提出一套系统化的安全机制，覆盖DNN开发全生命周期，以缓解这些不足。
• 建立结构化的评估指标框架，用于衡量安全机制的有效性，并支持安全论证。
• 通过可测量、可追溯、可审计的标准，推动AI在汽车感知领域中的工业应用与标准化。

提出的方法

• 基于输入、内部功能和输出，将DNN不足分类为五类：泛化能力不足、鲁棒性不足、可解释性不足、合理性不足和效率不足。
• 使用‘先天与后天’的类比，将不足的根本原因划分为‘遗传性’（源于深度学习固有特性）和‘获得性’（由设计与训练选择导致）两类。
• 在DNN开发全生命周期内提出安全机制，涵盖数据整理、模型架构设计、训练流程以及后处理技术。
• 引入四级评估指标体系：预测质量、安全性、效率和数据质量指标，用于评估机制的有效性。
• 基于DNN内部结构的安全指标（如不确定性图、注意力热力图）用于实现对安全关键行为的统计验证。
• 将指标整合进保证案例框架中，为在特定运行条件下符合安全目标提供证据支持。

实验结果

研究问题

• RQ1 如何系统性地对HAD感知系统中DNN的不足进行分类，并追溯其根本原因？
• RQ2 在DNN开发全生命周期中，可应用哪些安全机制来缓解DNN的内在与获得性弱点？
• RQ3 如何定义评估指标，以定量衡量安全机制在提升DNN安全性方面的有效性？
• RQ4 内部DNN表征（如不确定性图）在实现统计上有效的安全评估中发挥何种作用？
• RQ5 所提出的框架如何支持为基于DNN的HAD系统认证与工业部署构建安全保证案例？

主要发现

• 本文识别出五类核心DNN不足——泛化能力不足、鲁棒性不足、可解释性不足、合理性不足和效率不足——这些是HAD感知系统中故障的主要来源。
• 研究证实，DNN不足源于‘遗传性’特征（深度学习固有特性）和‘获得性’原因（如数据集不平衡、拓扑设计不佳），需采取针对性缓解措施。
• 提出了一套覆盖DNN全生命周期的综合性安全机制，包括数据整理、模型设计、训练过程与后处理，以应对上述不足。
• 评估指标体系包含四类独立指标：预测质量、安全性、效率和数据质量，可实现对安全改进的可测量、可比较评估。
• 基于DNN内部输出的安全指标（如不确定性图）被确认为实现安全关键行为统计验证的关键要素，尽管当前实践中仍研究不足。
• 该框架为工业标准化与保证案例开发提供了基础策略，未来工作将聚焦于优化指标并直接关联至各类不足。