[论文解读] Provably Correct Training of Neural Network Controllers Using Reachability Analysis

Xiaowu Sun, Yasser Shoukry|arXiv (Cornell University)|Feb 22, 2021

Adversarial Robustness in Machine Learning参考文献 46被引用 4

一句话总结

该论文提出了一种框架，通过结合可达性分析与一种新颖的权重投影算子，对ReLU神经网络控制器进行训练，实现可证明的安全性和活锁性保证。该框架构建了系统的有限状态抽象模型，以识别满足安全性和活锁性的连续分段仿射（CPWA）函数，并在训练过程中通过投影强制执行这些函数，从而确保正确性，无需事后验证或运行时监控。

ABSTRACT

In this paper, we consider the problem of training neural network (NN) controllers for nonlinear dynamical systems that are guaranteed to satisfy safety and liveness (e.g., reach-avoid) properties. Our approach is to combine model-based design methodologies for dynamical systems with data-driven approaches to achieve this target. We confine our attention to NNs with Rectifier Linear Unit (ReLU) nonlinearity which are known to represent Continuous Piece-Wise Affine (CPWA) functions. Given a mathematical model of the dynamical system, we compute a finite-state abstract model that captures the closed-loop behavior under all possible CPWA controllers. Using this finite-state abstract model, our framework identifies a family of CPWA functions guaranteed to satisfy the safety requirements. We augment the learning algorithm with a NN weight projection operator during training that enforces the resulting NN to represent a CPWA function from the provably safe family of CPWA functions. Moreover, the proposed framework uses the finite-state abstract model to identify candidate CPWA functions that may satisfy the liveness properties. Using such candidate CPWA functions, the proposed framework biases the NN training to achieve the liveness specification. We show the efficacy of the proposed framework both in simulation and on an actual robotic vehicle.

研究动机与目标

• 解决数据驱动的神经网络控制器在安全关键型信息物理系统中缺乏形式化安全与可靠性保证的问题。
• 开发一种训练框架，确保神经网络控制器在不依赖事后验证或运行时监控的前提下，同时满足安全性和活锁性属性。
• 将基于模型的可达性分析与数据驱动训练相结合，引导学习过程朝向可证明正确的控制器发展。
• 实现神经网络控制器在机器人平台上的实际部署，并提供形式化正确性保证。

提出的方法

• 构建非线性动态系统的有限状态抽象模型，以捕捉在所有可能的连续分段仿射（CPWA）控制器作用下的闭环行为。
• 利用可达性分析计算可达集，并识别出在所有初始条件下均保证安全性的CPWA函数族。
• 在训练过程中引入一种新颖的神经网络权重投影算子，将学习到的权重约束为仅表示来自可证明安全族的CPWA函数。
• 利用抽象模型识别可能满足活锁性质的候选CPWA函数，对其进行排序，并相应地偏置训练过程。
• 将该框架应用于机器人车辆（PiCar），使用近端策略优化（PPO）结合投影算子，训练出满足安全性和活锁性的控制器。
• 实现关键组件（如可达集计算、后验图构建和局部神经网络训练）的并行化，以提升可扩展性。

实验结果

研究问题

• RQ1 是否存在一种数据驱动的神经网络控制器训练框架，能够在无需事后验证或运行时监控的前提下，保证安全性和活锁性？
• RQ2 如何利用可达性分析抽象所有可能的ReLU神经网络控制器的行为，并识别出一个安全的CPWA函数族？
• RQ3 权重投影算子在训练过程中在多大程度上能确保学习到的控制器始终处于可证明安全的CPWA函数集合内？
• RQ4 鉴于活锁性无法仅通过投影强制实现，如何利用抽象模型引导训练过程以实现活锁性满足？
• RQ5 该框架在实际机器人控制任务中，相对于系统维度和划分粒度的可扩展性如何？

主要发现

• 该框架成功训练出一个用于PiCar机器人车辆的神经网络控制器，在赛道上多次运行中均满足安全属性φ_safety，仿真与实际部署均得到验证。
• 框架的执行时间随抽象状态数和控制器划分数线性增长，表明在中等划分下具有良好的可扩展性。
• 随着系统维度增加，抽象状态数和执行时间呈指数增长，但该框架仍可在约10,000秒（≈2.7小时）内完成10维系统的后验图构建。
• 该框架实现了可证明正确的控制器，无需在线监控、预测滤波器、屏障函数或事后形式化验证。
• 权重投影算子有效约束了神经网络仅表示来自安全族的CPWA函数，从而通过构造确保安全性。
• 基于抽象模型的候选函数排序与训练偏置机制，即使活锁性无法仅通过投影实现，也能引导模型收敛至满足活锁性的控制器。