[论文解读] Verisig: verifying safety properties of hybrid systems with neural network controllers

Radoslav Ivanov, James Weimer+3 more|arXiv (Cornell University)|Nov 5, 2018

Adversarial Robustness in Machine Learning参考文献 26被引用 37

一句话总结

Verisig 提出了一种新颖的方法，通过将基于 Sigmoid 的神经网络控制器的混合系统安全性属性验证，利用 Sigmoid 函数对二次微分方程的解，将 DNN 转换为等价的混合系统。这使得能够与系统动力学组合，并通过 Flow* 等可达性分析工具进行验证，实现了网络深度的线性可扩展性，且对单隐藏层网络具有可判定性；更广泛的可判定性取决于 Scharanuel 猜想。

ABSTRACT

This paper presents Verisig, a hybrid system approach to verifying safety properties of closed-loop systems using neural networks as controllers. Although techniques exist for verifying input/output properties of the neural network itself, these methods cannot be used to verify properties of the closed-loop system (since they work with piecewise-linear constraints that do not capture non-linear plant dynamics). To overcome this challenge, we focus on sigmoid-based networks and exploit the fact that the sigmoid is the solution to a quadratic differential equation, which allows us to transform the neural network into an equivalent hybrid system. By composing the network's hybrid system with the plant's, we transform the problem into a hybrid system verification problem which can be solved using state-of-the-art reachability tools. We show that reachability is decidable for networks with one hidden layer and decidable for general networks if Schanuel's conjecture is true. We evaluate the applicability and scalability of Verisig in two case studies, one from reinforcement learning and one in which the neural network is used to approximate a model predictive controller.

研究动机与目标

• 为解决在神经网络作为控制器的闭环网络物理系统中验证安全性属性的挑战，特别是当传统 DNN 验证技术因非线性系统动力学而失效时。
• 克服现有基于 SMT/MILP 的 DNN 验证工具的局限性，这些工具无法建模连续的非线性系统动力学。
• 通过利用 Sigmoid 网络的微分方程特性，将基于 Sigmoid 的 DNN 转换为等价的混合系统，以实现对混合系统安全性属性的正式验证。
• 在涉及强化学习和模型预测控制近似的实际案例研究中，评估所提方法的可扩展性和适用性。
• 在 Scharanuel 猜想的假设下，探索一般前馈 Sigmoid 网络验证问题的理论可判定性。

提出的方法

• 利用 Sigmoid 激活函数是特定二次微分方程解的事实，从而为每个神经元建立连续时间动力系统表示。
• 将具有 L 层、每层 N 个神经元的全连接前馈 DNN 转换为具有 L+1 个模式和每层 2N 个状态的混合系统。
• 将所得的 DNN 混合系统与连续时间系统动力学组合，形成表示完整闭环系统的复合混合系统。
• 应用最先进的混合系统可达性分析工具（如 dReach 和 Flow*），计算可达状态空间并验证安全性属性。
• 在 Flow* 中使用分段线性逼近处理非线性动力学，逼近误差由每个 Sigmoid 使用的线性段数量限定。
• 采用基于 MILP 的验证作为基线对比，使用每 Sigmoid 100 个线性段以确保相近的逼近精度。

实验结果

研究问题

• RQ1 当传统 DNN 验证技术因非线性系统动力学而失效时，是否能够对基于 Sigmoid 的神经网络控制器的混合系统安全性属性进行正式验证？
• RQ2 是否可以利用其微分方程特性，将基于 Sigmoid 的 DNN 表示为等价的混合系统？
• RQ3 所提出的转换是否能够利用现有可达性分析工具实现对深层网络的可扩展验证？
• RQ4 在何种数学假设下，一般前馈 Sigmoid 网络的验证问题具有可判定性？
• RQ5 Verisig 在深层网络上的可扩展性与现有基于 MILP 的 DNN 验证方法相比如何？

主要发现

• Verisig 在网络层数上实现了线性可扩展性，因为每层（模式）执行相同的可达性计算，从而支持对深层网络的验证。
• 基于 MILP 的方法由于二值变量的组合爆炸，其运行时间随深度增加呈指数增长，导致在深层网络中不可行。
• 对于浅层网络（层数较少），基于 MILP 的方法速度更快，但其性能对问题结构高度敏感，例如九层网络的运行时间反而快于八层网络。
• Verisig+Flow* 在从两层到十层、每层宽度从 16 到 128 个神经元的广泛网络深度和宽度范围内，表现出可预测且可扩展的性能。
• 对于具有单隐藏层的 DNN，验证问题是可判定的；若 Scharanuel 猜想成立，则一般网络的验证问题也是可判定的。
• Flow* 中使用的粗粒度分段线性逼近在实践中未引入显著误差，表明尽管方法简单，但其对 Sigmoid 动力学仍具有良好的适用性。