[论文解读] Verification in the Loop: Correct-by-Construction Control Learning with Reach-avoid Guarantees

Yixuan Wang, Chao Huang+3 more|arXiv (Cornell University)|Jun 6, 2021

Machine Learning and Algorithms参考文献 32被引用 5

一句话总结

该论文提出了一种闭环控制学习框架，将形式化验证整合到设计过程中，以保证安全关键系统中的可达-避免特性。通过使用可达集计算构建反馈度量（几何距离和Wasserstein距离），该方法将问题形式化为可微分优化问题，并应用近似梯度下降来学习形式化验证为安全且能达成目标的控制器，其收敛性和安全率优于基线方法。

ABSTRACT

In the current control design of safety-critical autonomous systems, formal verification techniques are typically applied after the controller is designed to evaluate whether the required properties (e.g., safety) are satisfied. However, due to the increasing system complexity and the fundamental hardness of designing a controller with formal guarantees, such an open-loop process of design-then-verify often results in many iterations and fails to provide the necessary guarantees. In this paper, we propose a correct-by-construction control learning framework that integrates the verification into the control design process in a closed-loop manner, i.e., design-while-verify. Specifically, we leverage the verification results (computed reachable set of the system state) to construct feedback metrics for control learning, which measure how likely the current design of control parameters can meet the required reach-avoid property for safety and goal-reaching. We formulate an optimization problem based on such metrics for tuning the controller parameters, and develop an approximated gradient descent algorithm with a difference method to solve the optimization problem and learn the controller. The learned controller is formally guaranteed to meet the required reach-avoid property. By treating verifiability as a first-class objective and effectively leveraging the verification results during the control learning process, our approach can significantly improve the chance of finding a control design with formal property guarantees. This is demonstrated via a set of experiments on both linear and non-linear systems that use model-based or neural network based controllers.

研究动机与目标

• 为解决传统开环设计-验证方法在安全关键控制系统中的局限性。
• 通过将形式化验证直接嵌入控制学习过程，减少迭代设计周期。
• 为基于模型和神经网络的控制器提供可达-避免特性（安全性与目标可达性）的形式化保证。
• 开发一种反馈机制，利用验证结果（可达集）指导控制器参数调优。
• 与标准强化学习和基于模型的控制方法相比，提升收敛性和安全性表现。

提出的方法

• 该框架使用验证器计算在控制器参数下系统状态的超逼近可达集。
• 构建两种反馈度量：一种基于到不安全区域和目标区域的几何距离，另一种基于状态分布之间的Wasserstein距离。
• 制定一个优化问题以最小化反馈度量，表示违反安全或未能达成目标的可能性。
• 使用带有有限差分法的近似梯度下降算法，迭代调优控制器参数。
• 该过程应用于线性控制器（如LQR）和基于神经网络的控制器（如DDPG），并在每一步执行验证。
• 提出一种混合控制器学习策略，以缓解高Lipschitz常数神经网络控制器中的过度逼近问题。

实验结果

研究问题

• RQ1 能否在控制学习过程中有效利用形式化验证结果作为反馈信号，以提升安全性保证？
• RQ2 如何利用可达集计算构建用于控制器参数优化的可微分度量？
• RQ3 与开环设计-然后验证相比，闭环设计-同时验证框架是否能更可靠地实现形式化可达-避免保证？
• RQ4 反馈度量的选择（几何距离 vs. Wasserstein距离）如何影响收敛性和安全性表现？
• RQ5 在学习循环中，验证紧密度与计算成本之间的权衡是什么？

主要发现

• 所提方法在线性ACC系统和非线性Van der Pol振子系统上均实现了100%的安全控制和目标可达率，优于DDPG和LQR基线方法。
• 对于振子系统，该方法在55–65次迭代（±13, ±4）内收敛，且完全保证安全与目标可达，而DDPG需要13.7K次迭代，仅实现79.2%的目标可达率，且无形式化验证。
• 通过所提方法学习到的控制器在几何和Wasserstein度量下均被形式化验证为满足可达-避免特性，而DDPG控制器因过度逼近问题无法验证。
• 更紧密的验证（例如每步40步）增加了计算时间（每步115秒），但提升了精度；而更松散的验证（55步）减少了时间（每步86秒），但精度较低。
• 混合控制器学习方法通过将可达-避免任务分解为避障和目标接近两个阶段，成功缓解了高Lipschitz常数神经网络控制器中的过度逼近误差。
• 该框架在线性和非线性系统中均表现出鲁棒性，5次独立运行中收敛性和性能指标的标准差较低，表现一致。