[论文解读] Verification of Neural Network Control Policy Under Persistent Adversarial Perturbation

Yuh-Shyang Wang, Tsui-Wei Weng+1 more|arXiv (Cornell University)|Aug 18, 2019

Adversarial Robustness in Machine Learning参考文献 28被引用 13

一句话总结

该论文提出了一种新颖的框架，通过结合静态神经网络认证工具与鲁棒控制理论，验证在持续 $ε$-有界 $ℓ_{\infty}$ 对抗扰动下的神经网络控制策略。该框架引入了一种算法，用于计算闭环系统的正不变集，从而在不依赖策略的Lipschitz连续性或可微性条件下实现鲁棒性认证，并在小车载波控制任务中使认证边界比传统Lipschitz方法提升5倍。

ABSTRACT

Deep neural networks are known to be fragile to small adversarial perturbations. This issue becomes more critical when a neural network is interconnected with a physical system in a closed loop. In this paper, we show how to combine recent works on neural network certification tools (which are mainly used in static settings such as image classification) with robust control theory to certify a neural network policy in a control loop. Specifically, we give a sufficient condition and an algorithm to ensure that the closed loop state and control constraints are satisfied when the persistent adversarial perturbation is l-infinity norm bounded. Our method is based on finding a positively invariant set of the closed loop dynamical system, and thus we do not require the differentiability or the continuity of the neural network policy. Along with the verification result, we also develop an effective attack strategy for neural network control systems that outperforms exhaustive Monte-Carlo search significantly. We show that our certification algorithm works well on learned models and achieves 5 times better result than the traditional Lipschitz-based method to certify the robustness of a neural network policy on a cart pole control problem.

研究动机与目标

• 解决神经网络控制策略在闭环系统中对持续对抗扰动敏感这一关键安全问题。
• 将原本专用于图像分类的静态神经网络认证工具，拓展至具有反馈连接的动态控制场景。
• 开发一种适用于非Lipschitz及不连续神经网络策略的认证框架，而传统鲁棒控制方法在此类情形下失效。
• 通过展示所提出的攻击算法可发现 exhaustive Monte-Carlo 模拟无法检测到的漏洞，证明数学验证的必要性。
• 即使系统动力学未知、不稳定或非线性，也能通过数据驱动的模型学习与不确定性边界估计实现鲁棒性认证。

提出的方法

• 利用静态神经网络认证工具（如 [8–13]）计算神经网络策略在 $ℓ_{\infty}$-有界扰动下输入输出行为的紧致上界逼近。
• 将认证后的输入输出映射与鲁棒控制理论结合，计算闭环动态系统的正不变集。
• 采用名义线性时不变（LTI）模型 $Π$ 和建模误差的保守边界 $Δ$ 来表示不确定的系统动力学，该边界通过从收集的轨迹中进行自助抽样获得。
• 应用不变集原理，确保所有起始于认证安全区域内的轨迹在持续对抗输入下保持有界。
• 采用一种新颖的 $ℓ_{\infty}$-范数持续攻击算法，发现 exhaustive Monte-Carlo 模拟所遗漏的漏洞。
• 设计算法1，通过在不变集上求解凸优化问题来计算认证安全区域，且无需策略具有可微性或连续性。

实验结果

研究问题

• RQ1 静态神经网络认证工具能否有效扩展至在持续对抗扰动下验证闭环动态系统中的控制策略？
• RQ2 在存在非Lipschitz或不连续控制动作的情况下，如何认证神经网络策略的鲁棒性？
• RQ3 数学认证框架能否发现 exhaustive 仿真方法所遗漏的漏洞？
• RQ4 与传统的基于Lipschitz的鲁棒控制方法相比，该方法在认证紧致性方面优越多少？
• RQ5 当真实系统动力学未知、不稳定或非线性时，该框架的效能如何？

主要发现

• 所提出的认证算法在小车载波控制问题中，相比传统Lipschitz方法，实现了5倍更好的鲁棒性边界，证明了其更高的紧致性。
• 该框架成功认证了非Lipschitz及不连续神经网络策略（如具有量化控制输出的策略）的安全性，而Lipschitz方法在此类情形下失效。
• 对于动力学未知的模型，当使用100次轨迹数据进行训练时，该方法的认证性能接近真实线性化模型的水平。
• 所开发的 $ℓ_{\infty}$ 攻击算法发现了神经网络控制系统中通过 exhaustive Monte-Carlo 模拟无法检测到的漏洞。
• 只要通过数据驱动方法计算出保守的模型不确定性边界 $Δ$，该认证框架在系统动力学不稳定或非线性时依然有效。
• 算法1计算出的不变集为闭环系统在持续对抗扰动下的安全性提供了严格的认证保证，且无需策略具有可微性。