[论文解读] POLAR: A Polynomial Arithmetic Framework for Verifying Neural-Network Controlled Systems

Chao Huang, Jiameng Fan+7 more|arXiv (Cornell University)|Jun 25, 2021

Adversarial Robustness in Machine Learning参考文献 26被引用 5

一句话总结

POLAR 是一种新颖的多项式算术框架，通过将泰勒模型（TM）算术与伯恩斯坦贝齐尔形式及符号余项相结合，实现了对神经网络控制系统的高效且精确的有界时间可达性分析。该方法克服了先前方法在处理不可导的 ReLU 激活函数以及余项爆炸问题上的局限性，显著提高了可达集过近似值的紧致性，并在与最先进工具相比展现出更好的可扩展性。

ABSTRACT

We present POLAR, a polynomial arithmetic-based framework for efficient bounded-time reachability analysis of neural-network controlled systems (NNCSs). Existing approaches that leverage the standard Taylor Model (TM) arithmetic for approximating the neural-network controller cannot deal with non-differentiable activation functions and suffer from rapid explosion of the remainder when propagating the TMs. POLAR overcomes these shortcomings by integrating TM arithmetic with extbf{Bernstein B{é}zier Form} and extbf{symbolic remainder}. The former enables TM propagation across non-differentiable activation functions and local refinement of TMs, and the latter reduces error accumulation in the TM remainder for linear mappings in the network. Experimental results show that POLAR significantly outperforms the current state-of-the-art tools in terms of both efficiency and tightness of the reachable set overapproximation. The source code can be found in https://github.com/ChaoHuang2018/POLAR_Tool

研究动机与目标

• 解决在具有不可导激活函数且近似误差迅速增长的神经网络控制系统（NNCSs）中验证安全性的挑战。
• 通过克服标准泰勒模型（TM）算术在神经网络传播中的局限性，提升有界时间可达性分析的精度与效率。
• 通过整合多项式算术技术，实现对 NNCS 中可达集的可扩展且紧致的过近似。
• 支持连续时间与离散时间 NNCS，包括 QUAD 和 Mountain Car 等基准测试。
• 在逐层网络传播过程中减少 TM 余项的误差累积，尤其在深层或宽层网络中表现更优。

提出的方法

• 将泰勒模型（TM）算术与伯恩斯坦贝齐尔形式相结合，以处理如 ReLU 等不可导激活函数，即使在不可导点也能实现多项式过近似。
• 通过单变量伯恩斯坦逼近对 TM 进行局部细化，以提升在小域上的精度，尤其适用于标准 TM 因余项增长过快而表现不佳的情况。
• 使用符号余项替代基于区间的余项，以减少在网络中线性映射过程中的误差累积，特别是在多层传播中。
• 采用混合方法，结合伯恩斯坦逼近与符号余项技术，在 TM 传播中实现精度与计算成本之间的平衡。
• 通过神经网络逐层构建 TM 流管，保持时间步之间的状态依赖关系，以实现精确的闭环可达性分析。
• 支持连续时间系统（如 QUAD）与离散时间系统（如 Mountain Car），展现出广泛的适用性。

实验结果

研究问题

• RQ1 多项式算术框架能否有效处理神经网络控制系统中如 ReLU 等不可导激活函数？
• RQ2 如何扩展泰勒模型算术以防止深层神经网络中逐层传播时的余项爆炸？
• RQ3 伯恩斯坦贝齐尔形式在可达性分析中能将 TM 过近似精度提升到何种程度？
• RQ4 与基于区间的余项表示相比，符号余项的集成在多大程度上减少了误差累积？
• RQ5 所提出的框架在保持紧致可达集过近似的同时，能否扩展至更大、更深的神经网络？

主要发现

• 在 QUAD 和 Mountain Car 基准测试中，POLAR 实现的可达集过近似值显著优于当前最先进工具（如 Verisig 2.0、ReachNN* 和 NNV）。
• 在 QUAD 基准测试中，对于 x₃ 在第 50 步，当 k=2 且 X₀=0.05 时，POLAR 将 TM 余项宽度降低至 1.2e-4，且仅使用了 1.34% 的伯恩斯坦逼近，优于所有其他配置。
• 当 X₀=0.05 且 k=2 时，POLAR 在 231 秒内完成 50 步可达性分析，余项宽度为 1.2e-4，而 Verisig 2.0 因可扩展性限制无法计算。
• 同时使用伯恩斯坦逼近与符号余项可使余项宽度相比基线 TM 最多减少 90%，即使在伯恩斯坦使用极少（如某些情况下为 0%）时，若余项已得到良好控制，仍能显著降低误差。
• POLAR 在网络深度与宽度上表现出良好可扩展性，在最多 5 层、每层 200 个神经元的网络中仍能保持性能，尽管初始集合半径越大，运行时间越长。
• 对于较大的初始集合（X₀=0.4），POLAR 仍在 1271 秒内完成 50 步分析（k=4），而其他工具无法计算，表明其对不确定性大小具有强鲁棒性。