[论文解读] Output Reachable Set Estimation and Verification for Multi-Layer Neural Networks

Weiming Xiang, Hoang-Dung Tran+1 more|arXiv (Cornell University)|Aug 9, 2017

Adversarial Robustness in Machine Learning参考文献 24被引用 34

一句话总结

本文提出一种基于仿真的方法，用于估计具有单调激活函数的多层感知机（MLPs）的输出可达集并进行安全验证。通过将最大敏感性定义为逐层凸优化问题，该方法结合输入离散化与可达管构建，实现对输出集的过近似，从而在不近似激活函数或限制输入范围的前提下，实现可靠的安全验证。

ABSTRACT

In this paper, the output reachable estimation and safety verification problems for multi-layer perceptron neural networks are addressed. First, a conception called maximum sensitivity in introduced and, for a class of multi-layer perceptrons whose activation functions are monotonic functions, the maximum sensitivity can be computed via solving convex optimization problems. Then, using a simulation-based method, the output reachable set estimation problem for neural networks is formulated into a chain of optimization problems. Finally, an automated safety verification is developed based on the output reachable set estimation result. An application to the safety verification for a robotic arm model with two joints is presented to show the effectiveness of proposed approaches.

研究动机与目标

• 解决多层感知机（MLPs）的安全性验证挑战，因其非凸、非线性结构常被视为黑箱。
• 克服现有验证方法对特定激活函数（如ReLU）或非线性近似的依赖。
• 开发一种通用验证框架，适用于广泛类别的激活函数，前提是其具有单调性。
• 在连续输入域而非孤立点上实现安全验证，支持真实应用场景的鲁棒性分析。
• 提供一种可扩展、自动化的安全验证方法，结合仿真与优化，避免依赖SMT求解器或李雅普诺夫稳定性分析。

提出的方法

• 引入最大敏感性概念，量化有界输入扰动引起的最坏情况输出偏差，将其形式化为每层的凸优化问题。
• 利用凸优化逐层计算最大敏感性，借助激活函数的单调性确保可计算性。
• 将输入空间离散化为用户定义半径δ的网格，通过有限次仿真估计输出可达集为可达管的并集。
• 通过使用最大敏感性值逐层传播边界，构建输出集的过近似。
• 通过检查估计的可达集是否与不安全区域相交，实现安全验证。
• 实现一个自动化验证函数（SafetyVeri），将可达集估计与安全检查整合为单一处理流程。

实验结果

研究问题

• RQ1 能否使用基于仿真的方法高效且可靠地估计具有单调激活函数的MLP的输出可达集？
• RQ2 如何为多层感知机中每一层的形式化定义并计算最大敏感性，以实现可扩展的可达性分析？
• RQ3 所提方法在多大程度上可实现对连续输入域的安全性验证，而无需依赖SMT求解器或激活函数近似？
• RQ4 输入离散化半径δ的选择如何影响安全验证的精度与可靠性？
• RQ5 该方法能否有效应用于真实世界控制系统（如机械臂）中，以确保在输入不确定性下的安全性？

主要发现

• 对于具有单调激活函数的MLP，其每层的最大敏感性可通过凸优化计算，从而实现高效且可扩展的分析。
• 通过输入空间离散化并计算每个网格点的最大敏感性，估计输出可达集，结果为可达管的并集，对真实输出集形成过近似。
• 通过检查估计的可达集是否与不安全区域相交实现安全验证；若无相交，则MLP被验证为安全。
• 当离散化半径δ = 0.02时，该方法成功验证了双关节机械臂MLP模型的安全性，而δ = 0.05则不足以得出安全结论。
• 该方法具有通用性，无需近似激活函数或限制输入集合，适用于包括ReLU、Sigmoid和Tanh在内的多种激活函数。
• 数值结果表明，尽管5000次仿真不足以保证安全性，但所提方法提供了一个可靠、自动化的验证框架，当离散化足够精细时，可明确证明安全性。