[论文解读] Verification of Neural-Network Control Systems by Integrating Taylor Models and Zonotopes

Christian Schilling, Marcelo Forets+1 more|arXiv (Cornell University)|Dec 16, 2021

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本论文提出了一种新颖的神经网络控制系统的可达性分析算法（NNCS），通过将微分方程的泰勒模型与神经网络的区间体相结合，利用结构化区间体保留控制周期间的依赖关系，并通过增量式泰勒模型更新实现高效计算。该方法在精度和可扩展性方面达到当前最优水平，首次成功验证了ARCH-COMP 2021竞赛中的所有基准问题。

ABSTRACT

We study the verification problem for closed-loop dynamical systems with neural-network controllers (NNCS). This problem is commonly reduced to computing the set of reachable states. When considering dynamical systems and neural networks in isolation, there exist precise approaches for that task based on set representations respectively called Taylor models and zonotopes. However, the combination of these approaches to NNCS is non-trivial because, when converting between the set representations, dependency information gets lost in each control cycle and the accumulated approximation error quickly renders the result useless. We present an algorithm to chain approaches based on Taylor models and zonotopes, yielding a precise reachability algorithm for NNCS. Because the algorithm only acts at the interface of the isolated approaches, it is applicable to general dynamical systems and neural networks and can benefit from future advances in these areas. Our implementation delivers state-of-the-art performance and is the first to successfully analyze all benchmark problems of an annual reachability competition for NNCS.

研究动机与目标

• 解决由于神经网络控制系统（NNCS）在微分方程（ODE）分析工具与神经网络分析工具之间接口转换时导致的依赖性丢失问题，从而降低可达性分析中的保守性。
• 设计一种在泰勒模型（用于ODE）与区间体（用于神经网络）之间保持结构依赖关系的可靠转换机制，确保跨控制周期的依赖信息不丢失。
• 设计一种模块化、接口级的算法，可与现有的黑箱可达性分析工具（用于ODE和神经网络）协同工作，无需访问其内部实现细节。
• 实现对NNCS基准问题的精确且可扩展的验证，特别是针对多输出维度的问题，这些问题是以往工具无法处理或出现发散的难点。
• 在真实世界控制系统的基准问题上验证该方法的有效性，包括具有复杂动态特性和ReLU激活神经网络的系统。

提出的方法

• 提出结构化区间体——一种在余项中编码代数结构的区间体——使得其可精确转换为泰勒模型，从而保留结构信息。
• 通过仅更新控制输入项而非重新计算整个模型，实现泰勒模型在控制周期间对依赖信息的保留。
• 采用双阶段接口：首先将基于区间体的神经网络分析器输出转换为结构化区间体，再将其转换为泰勒模型以用于ODE积分。
• 应用基于泰勒模型的ODE可达性分析工具向前推进状态，然后将得到的泰勒模型转换回结构化区间体，用于下一轮神经网络分析。
• 利用初始集合的分裂作为精炼策略，在不改变核心转换机制的前提下提升精度。
• 通过在每次转换步骤中保持超近似，确保方法的可靠性，同时通过依赖关系保持的变换避免包裹效应。

实验结果

研究问题

• RQ1 在区间体与泰勒模型表示之间转换时，是否能有效保留神经网络控制系统中丢失的依赖信息？
• RQ2 通过结构化区间体与增量更新方式整合泰勒模型与区间体，是否能实现比现有黑箱链式方法更精确且更可扩展的可达性分析？
• RQ3 所提出的方法能否验证ARCH-COMP 2021竞赛中的所有基准问题，包括那些具有多输出神经网络、而先前工具无法处理的问题？
• RQ4 与Sherlock和NNV相比，该方法在高维或复杂控制系统的精度与性能表现如何？
• RQ5 在保持可靠性和可扩展性的前提下，该方法在多大程度上能从初始集合分裂中获益？

主要发现

• 所提方法成功验证了ARCH-COMP 2021竞赛中的所有基准问题，包括双摆和飞机模型，而此前的工具（如Sherlock）因发散而无法分析这些系统。
• 在自适应巡航控制和TORA问题上，该方法在精度上与Sherlock相当或更优，且速度更快，尤其在无需输入集合分裂的情况下表现更佳。
• 在单摆问题上，该方法生成的超近似比Sherlock更精确，证明了其在依赖关系保留方面的优越性。
• 该方法在具有多个控制输出的系统上保持稳定且收敛，而Sherlock在几个控制周期后即出现发散，表明其对高维输出具有更强的鲁棒性。
• 初始集合分裂可提升精度，但该方法在大多数基准问题上无需分裂即可达到足够高的精度，表明其具备内在的高精度特性。
• 该方法是首个以保留控制周期间依赖关系的方式结合泰勒模型与区间体的方法，实现了NNCS可达性分析的可靠与可扩展分析。