[论文解读] On The Verification of Neural ODEs with Stochastic Guarantees

Sophie Gruenbacher, Ramin Hasani+4 more|arXiv (Cornell University)|Dec 16, 2020

Model Reduction and Neural Networks被引用 5

一句话总结

该论文提出了一种新型验证框架——随机拉格朗日可达性（Stochastic Lagrangian Reachability, SLR），用于神经ODE的验证。SLR将可达性问题形式化为全局优化问题。通过结合均匀采样、基于区间计算的Lipschitz常数的安全帽约束的局部梯度下降法，以及前向模式伴随方法，SLR避免了包裹效应（wrapping effect），并提供了对可达状态的紧致椭球超逼近的概率保证，且具有已证明的收敛性和保守性。

ABSTRACT

We show that Neural ODEs, an emerging class of time-continuous neural networks, can be verified by solving a set of global-optimization problems. For this purpose, we introduce Stochastic Lagrangian Reachability (SLR), an abstraction-based technique for constructing a tight Reachtube (an over-approximation of the set of reachable states over a given time-horizon), and provide stochastic guarantees in the form of confidence intervals for the Reachtube bounds. SLR inherently avoids the infamous wrapping effect (accumulation of over-approximation errors) by performing local optimization steps to expand safe regions instead of repeatedly forward-propagating them as is done by deterministic reachability methods. To enable fast local optimizations, we introduce a novel forward-mode adjoint sensitivity method to compute gradients without the need for backpropagation. Finally, we establish asymptotic and non-asymptotic convergence rates for SLR.

研究动机与目标

• 为安全关键应用中神经ODE缺乏可扩展的验证方法提供解决方案。
• 克服确定性可达性方法中固有的包裹效应，该效应会随时间推移降低精度。
• 为神经ODE中的可达状态提供概率性、紧致且保守的超逼近。
• 在神经ODE优化中实现高效的梯度计算，无需反向传播。
• 为验证框架建立理论上的收敛性和安全性保证。

提出的方法

• 在每个时间步将神经ODE的可达性问题重新表述为全局优化任务。
• 从初始球体中进行均匀采样，并利用局部梯度下降法寻找全局最小值，避免计算Hessian矩阵。
• 在先前采样的状态周围应用球形帽（安全区域），其半径由通过区间算术计算的局部Lipschitz常数导出。
• 采用一种新颖的前向模式伴随敏感性方法，高效计算梯度，从而无需反向传播。
• 构建一个Reachtube（可达状态的超逼近）作为一系列具有置信区间的紧致椭球体。
• 采用迭代精炼策略：从较大的安全半径开始，逐步减小，直到可达集避开不安全区域，从而确保所需的置信水平。

实验结果

研究问题

• RQ1 是否可以设计一种避免包裹效应并提供概率保证的框架来验证神经ODE？
• RQ2 如何高效结合全局优化与局部梯度下降，以构建可达集的紧致超逼近？
• RQ3 在概率置信区间约束下，神经ODE的随机可达性方法的收敛速率是多少？
• RQ4 前向模式伴随方法是否能提升神经ODE优化中梯度计算的效率？
• RQ5 是否可能设计一种既可扩展又具有可证明保守性的神经ODE验证框架？

主要发现

• SLR以已证明的收敛率 𝒪(−ln γ (δ₀/r_bound)²ⁿ) 收敛到紧致的椭球安全区域，其中 γ 为给定置信水平。
• 该框架提供概率保证：计算出的Reachtube在置信水平 1−γ 下具有保守性，确保在不确定性下的安全性。
• SLR通过使用局部优化和安全帽，而非重复前向传播，避免了包裹效应。
• 前向模式伴随方法实现了高效的梯度计算，时间复杂度为 𝒪(L×T)，每层仅需常数内存，优于基于反向传播的方法。
• 由于避免了全局区间算术运算，转而依赖局部有界计算，该方法可扩展至大规模神经ODE。
• 理论分析表明，为神经ODE的真实可达集构造一个具有概率保证的椭球抽象问题，是可判定的。