[论文解读] ReachNN: Reachability Analysis of Neural-Network Controlled Systems

Chao Huang, Jiameng Fan+3 more|arXiv (Cornell University)|Jun 25, 2019

Adversarial Robustness in Machine Learning参考文献 36被引用 27

一句话总结

ReachNN 提出了一种基于伯恩斯坦多项式逼近的神经网络控制器系统可达性分析框架，可处理通用激活函数，利用利普希茨连续性和误差界估计。该方法通过 Flow* 实现对可达集的过近似，相较于先前方法在异构网络和高利普希茨控制器场景下实现了更高的精度，尤其通过微调实现改进。

ABSTRACT

Applying neural networks as controllers in dynamical systems has shown great promises. However, it is critical yet challenging to verify the safety of such control systems with neural-network controllers in the loop. Previous methods for verifying neural network controlled systems are limited to a few specific activation functions. In this work, we propose a new reachability analysis approach based on Bernstein polynomials that can verify neural-network controlled systems with a more general form of activation functions, i.e., as long as they ensure that the neural networks are Lipschitz continuous. Specifically, we consider abstracting feedforward neural networks with Bernstein polynomials for a small subset of inputs. To quantify the error introduced by abstraction, we provide both theoretical error bound estimation based on the theory of Bernstein polynomials and more practical sampling based error bound estimation, following a tight Lipschitz constant estimation approach based on forward reachability analysis. Compared with previous methods, our approach addresses a much broader set of neural networks, including heterogeneous neural networks that contain multiple types of activation functions. Experiment results on a variety of benchmarks show the effectiveness of our approach.

研究动机与目标

• 为解决神经网络控制器系统（NNCS）中安全性验证的挑战，传统可达性方法因复杂非线性控制器映射而失效。
• 将现有验证技术从仅支持 ReLU 的网络扩展至支持通用激活函数，前提是网络具有利普希茨连续性。
• 为神经网络控制器的输入输出行为开发一种可计算的高阶集合抽象，用于可达性分析。
• 通过理论与采样结合的估计方法，基于利普希茨常数分析，为多项式逼近提供紧致的误差界。
• 通过微调降低利普希茨常数，提升流管计算中的过近似质量，从而提高高利普希茨控制器的精度。

提出的方法

• 在有界输入集上，使用用户定义的阶数上限，对神经网络控制器的输入输出映射进行伯恩斯坦多项式逼近。
• 采用两种技术估计逼近误差：基于伯恩斯坦多项式理论的先验理论界，以及基于采样的后验界。
• 利用前向可达性分析计算神经网络的紧致利普希茨常数估计，以指导误差估计与微调策略。
• 在损失函数中引入利普希茨正则化项，实施微调过程以降低网络的利普希茨常数，从而提升逼近质量。
• 将多项式逼近集成至 Flow* 工具中，计算完整 NNCS 的过近似流管，支持迭代可达性分析。
• 将所得多项式模型用作高阶集合抽象，对定义域内所有输入的控制器输出实现过近似。

实验结果

研究问题

• RQ1 伯恩斯坦多项式逼近能否有效抽象具有多样化激活函数的通用神经网络控制器的输入输出行为？
• RQ2 如何为具有利普希茨连续性的神经网络多项式逼近估计紧致误差界，尤其在高维输入空间中？
• RQ3 降低神经网络的利普希茨常数在多大程度上能通过多项式逼近提升可达性分析的精度？
• RQ4 所提方法能否处理包含多种激活函数类型的异构神经网络，超越以往仅限 ReLU 的方法？
• RQ5 在基准测试中，ReachNN 在过近似质量与计算可行性方面与现有方法相比表现如何？

主要发现

• ReachNN 通过伯恩斯坦多项式逼近成功实现了对具有通用激活函数（包括异构网络）的神经网络控制器系统的可达性分析。
• 该方法相较于先前方法实现了更紧致的可达集过近似，尤其在结合利普希茨常数降低的微调策略时效果显著。
• 在小车载倒立摆系统中，经微调后利普希茨常数从 14.7 降低的网络使伯恩斯坦多项式能更准确地跟踪控制器行为，从而提升了过近似质量。
• 基于采样的误差界估计为理论界提供了一种实用且有效的替代方案，尤其在高维输入空间中表现突出。
• 尽管理论上具有普适性，但该方法在高维输入空间中面临可扩展性挑战，因维度增加导致多项式阶数呈指数级增长。
• 采用利普希茨正则化的微调策略在保持性能的同时降低了利普希茨常数，证明了一条提升验证精度的可行路径。