[论文解读] Safety Guarantees for Neural Network Dynamic Systems via Stochastic Barrier Functions

Rayan Mazouz, Karan Muvvala+3 more|arXiv (Cornell University)|Jun 15, 2022

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本文提出了一种基于凸优化的框架，利用随机障碍函数为神经网络动态模型（NNDMs）提供安全保证。通过利用神经网络的分段线性近似和平方和优化，该方法计算安全概率的下界，并通过线性规划合成最小侵入性控制器以在需要时增强安全性，展示了对包含数百个神经元的多维NNDMs的可扩展性。

ABSTRACT

Neural Networks (NNs) have been successfully employed to represent the state evolution of complex dynamical systems. Such models, referred to as NN dynamic models (NNDMs), use iterative noisy predictions of NN to estimate a distribution of system trajectories over time. Despite their accuracy, safety analysis of NNDMs is known to be a challenging problem and remains largely unexplored. To address this issue, in this paper, we introduce a method of providing safety guarantees for NNDMs. Our approach is based on stochastic barrier functions, whose relation with safety are analogous to that of Lyapunov functions with stability. We first show a method of synthesizing stochastic barrier functions for NNDMs via a convex optimization problem, which in turn provides a lower bound on the system's safety probability. A key step in our method is the employment of the recent convex approximation results for NNs to find piece-wise linear bounds, which allow the formulation of the barrier function synthesis problem as a sum-of-squares optimization program. If the obtained safety probability is above the desired threshold, the system is certified. Otherwise, we introduce a method of generating controls for the system that robustly maximizes the safety probability in a minimally-invasive manner. We exploit the convexity property of the barrier function to formulate the optimal control synthesis problem as a linear program. Experimental results illustrate the efficacy of the method. Namely, they show that the method can scale to multi-dimensional NNDMs with multiple layers and hundreds of neurons per layer, and that the controller can significantly improve the safety probability.

研究动机与目标

• 为广泛使用但缺乏安全验证的神经网络动态模型（NNDMs）解决正式安全保证的缺失问题。
• 开发一种方法，在无需展开轨迹的情况下，计算NNDMs轨迹安全概率的下界。
• 设计一种最小侵入性控制合成策略，在安全认证失败时稳健地提高安全概率。
• 确保对具有多层和每层数百个神经元的高维NNDMs的可扩展性。
• 提供一种构造正确的框架，通过凸优化集成安全认证与控制合成。

提出的方法

• 通过随机障碍函数制定安全保证，其非负上鞅性质可确保安全集的前向不变性。
• 依赖近期的凸近似技术，推导神经网络动态的分段线性边界，从而实现障碍函数合成问题的凸松弛。
• 将障碍函数合成重新表述为平方和（SOS）优化问题，可通过高效的凸求解器求解。
• 当安全概率低于阈值时，利用障碍函数的凸性，将最优控制合成表述为线性规划问题。
• 采用区间和线性边界对神经网络进行处理，以计算动力学的保守下界和上界，实现鲁棒的安全分析。
• 引入一种最小侵入性控制器，仅在高风险区域（高βq）激活，从而减少不必要的控制干预。

实验结果

研究问题

• RQ1 随机障碍函数能否有效适应于具有噪声和迭代预测的NNDMs，以提供正式的安全保证？
• RQ2 尽管神经网络具有非线性，如何将NNDMs的随机障碍函数合成问题简化为凸优化问题？
• RQ3 神经网络的分段线性近似在多大程度上能够实现对高维NNDMs的可扩展安全验证？
• RQ4 能否合成一种最小侵入性控制器，以稳健地提高安全概率，同时保持系统性能？
• RQ5 离散化选择（|Q|）如何影响安全概率精度与计算成本之间的权衡？

主要发现

• 对于单层Cartpole模型，|Q|从960增加到3840，使安全概率从0.375提升至0.599，但计算时间增加了12倍以上。
• 对于具有两层隐藏层的4D Husky模型，|Q|从1800增加到4800，使安全概率从0.010提升至0.384，计算时间增加五倍以上。
• 使用线性边界时，控制器在所有NNDMs中均实现了安全概率≥0.95，仅在两个模型中例外：4D Husky（2层，|Q|=1800）和1层5D Husky（|Q|=432），其安全概率P_s分别从0.010提升至0.800，从0.000提升至0.949。
• 对于具有两层的Pendulum NNDM，控制器干预区域占比从|Q|=120时的100%降低至|Q|=480时的23.75%，表现出最小侵入性行为。
• 在所有情况下，控制器均将βq参数降低至10^-6，表明对安全违规具有高度鲁棒性。
• 该框架成功扩展至具有多层和每层数百个神经元的多维NNDMs，已在强化学习训练的基准上得到验证。