[论文解读] Safe Control with Learned Certificates: A Survey of Neural Lyapunov, Barrier, and Contraction methods

Charles Dawson, Sicun Gao+1 more|arXiv (Cornell University)|Feb 23, 2022

Fault Detection and Control SystemsEngineering被引用 19

一句话总结

本综述介绍了神经证书方法——通过神经网络学习李雅普诺夫函数、屏障函数和收缩函数——以实现对非线性机器人系统中学习控制器的可验证安全性与稳定性保证。通过联合训练控制策略与可微证书，该框架在不依赖手工设计函数或严格系统假设的前提下，实现了安全、稳定且可验证的控制，为传统方法（如平方和法或PDE方法）提供了一种可扩展的替代方案。

ABSTRACT

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

研究动机与目标

• 提供非线性动力系统中安全稳定控制的神经证书方法的全面且易于理解的综述。
• 通过在神经网络框架下统一李雅普诺夫函数、屏障函数与收缩函数的学习，弥合形式控制理论与现代学习型控制之间的鸿沟。
• 通过启用具有可验证证书的自监督训练，解决深度强化学习中缺乏保证的问题。
• 识别异构多智能体、分布式及网络化控制系统中尚未解决的挑战与未来研究方向。
• 为在机器人学与控制领域应用或推进证书学习的从业者与研究人员提供基础参考。

提出的方法

• 该框架使用神经网络表示控制证书——李雅普诺夫函数、屏障函数与收缩函数——实现与学习控制器端到端的可微训练。
• 证书通过源自证书条件（例如李雅普诺夫函数的负定导数）的自监督信号进行训练，从而无需显式奖励塑造。
• 该方法支持非多项式动力学与高维系统，克服了平方和法与PDE方法的局限性。
• 通过允许证书通过隐式监督引导策略优化，该方法可与强化学习集成，确保训练过程中的稳定性与安全性。
• 该方法可实现可验证的正确性：训练后的神经证书可为对应控制器提供系统稳定性或安全性的数学证明。
• 提出组合验证与图神经网络，以将该框架扩展至异构及分布式多智能体系统。

实验结果

研究问题

• RQ1 神经网络能否有效学习李雅普诺夫函数、屏障函数与收缩函数，从而为非线性系统提供可验证的稳定性与安全性保证？
• RQ2 证书学习如何与强化学习集成，以同时提供性能与安全性保证？
• RQ3 现有方法（如平方和法与PDE方法）存在哪些局限性，神经证书如何克服这些局限？
• RQ4 神经证书能否扩展至具有异质动力学的大规模、高维或多智能体系统？
• RQ5 在分布式、网络化或容错控制系统的应用中，神经证书面临哪些关键挑战？

主要发现

• 神经证书可在无需手工设计函数形式或多项式动力学的前提下，为非线性系统合成可验证的安全性与稳定性保证。
• 该框架支持自监督训练，其中证书条件本身即构成监督信号，从而减少对外部奖励函数的依赖。
• 该方法已成功应用于复杂任务，如不确定性环境下的稳定行走、湍流环境中的四旋翼飞行，以及超过1,000个智能体的去中心化控制。
• 神经证书在可扩展性与通用性方面优于传统方法，避免了解决高维PDE的计算不可行性，也规避了平方和规划的严格假设。
• 该方法为现实世界机器人应用中可信的学习型控制提供了切实可行的路径，兼具坚实的理论基础与实证验证。
• 未来工作需将该框架扩展至异构多智能体系统、具有时延的分布式控制，以及容错架构。