[论文解读] Reachability Analysis of Neural Network Control Systems

Chi Zhang, Wenjie Ruan+1 more|arXiv (Cornell University)|Jan 28, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

该论文提出 DeepNNC，一种基于利普希茨优化的神经网络控制系统的新型验证框架（NNCS）。通过循环展开和消除反馈回路，证明闭环 NNCS 的利普希茨连续性，DeepNNC 将可达性分析视为黑箱优化问题，在多种激活函数和更长的时间范围内，实现了比以往方法更紧致且更高效的可达集估计。

ABSTRACT

Neural network controllers (NNCs) have shown great promise in autonomous and cyber-physical systems. Despite the various verification approaches for neural networks, the safety analysis of NNCs remains an open problem. Existing verification approaches for neural network control systems (NNCSs) either can only work on a limited type of activation functions, or result in non-trivial over-approximation errors with time evolving. This paper proposes a verification framework for NNCS based on Lipschitzian optimisation, called DeepNNC. We first prove the Lipschitz continuity of closed-loop NNCSs by unrolling and eliminating the loops. We then reveal the working principles of applying Lipschitzian optimisation on NNCS verification and illustrate it by verifying an adaptive cruise control model. Compared to state-of-the-art verification approaches, DeepNNC shows superior performance in terms of efficiency and accuracy over a wide range of NNCs. We also provide a case study to demonstrate the capability of DeepNNC to handle a real-world, practical, and complex system. Our tool extbf{DeepNNC} is available at \url{https://github.com/TrustAI/DeepNNC}.

研究动机与目标

• 解决现有神经网络控制系统（NNCS）验证方法在处理广泛激活函数时缺乏可扩展性和准确性，且易产生过度近似误差的问题。
• 开发一种无需访问 NNCS 内部结构的模型无关验证框架。
• 在长时间范围内实现紧致且高效的可达集估计，最小化包裹效应和误差累积。
• 在基准模型和真实世界复杂系统（如飞行飞机控制系统）上验证该方法的有效性。

提出的方法

• 通过控制系统的循环展开和反馈回路消除，证明闭环 NNCS 的利普希茨连续性。
• 利用利普希茨优化技术，将可达性问题建模为黑箱优化任务。
• 应用动态局部利普希茨优化以提升计算效率并减少过度近似。
• 通过迭代边界精化，结合参数 ε（容差）和 k_max（最大迭代次数）来收紧可达集估计。
• 利用该方法的模型无关特性，支持任意利普希茨连续的控制器和被控对象动态。
• 使用穷举网格近似作为可达性估计的真值代理，对方法进行验证。

实验结果

研究问题

• RQ1 验证框架是否能在包括 ReLU、Sigmoid 和 Tanh 在内的多种激活函数下，实现对 NNCS 的紧致且高效的可达集估计？
• RQ2 与现有的基于泰勒模型的方法相比，所提出的利普希茨优化方法在精度和随时间累积的误差方面表现如何？
• RQ3 该方法在处理如高维状态空间的飞行飞机等复杂真实世界控制系统方面，具备多大程度的适用性？
• RQ4 参数 ε 和 k_max 如何影响可达集估计的精度和收敛性？
• RQ5 该框架是否无需访问 NNCS 的内部架构即可应用，从而实现模型无关性？

主要发现

• 与 Verisig 2.0、ReachNN* 和 Sherlock 等最先进方法相比，DeepNNC 在多个基准测试中均实现了更紧致的可达集估计，且估计区域面积始终更小。
• DeepNNC 估计的可达集面积略大于穷举网格近似（真值代理），但显著小于所有基线方法，表明其具有高精度。
• 当 ε = 0.0005 且 k_max = 10^4 时，DeepNNC 产生最紧致的估计结果；进一步增加 k_max 或减小 ε 可进一步提升精度。
• DeepNNC 在飞行飞机案例研究中成功识别出不安全行为，表明系统的 y 和 α 状态超出安全边界，证实了该方法的实际应用价值。
• 该方法在长时间范围内的效率和精度表现优异，避免了泰勒模型方法中常见的指数级误差累积。
• 在对比中，DeepNNC 是唯一无需内部模型访问的模型无关 NNCS 验证框架，同时保持了高性能。