[论文解读] Neural Lyapunov Model Predictive Control

Mayank Mittal, Marco Gallieri+3 more|arXiv (Cornell University)|May 4, 2021

Advanced Control Systems Optimization被引用 9

一句话总结

该论文提出了一种数据驱动的神经Lyapunov模型预测控制（MPC）框架，通过专家示范数据学习一个作为深度神经网络Lyapunov函数的终端代价。通过迭代优化MPC参数和基于Lyapunov的终端代价，该方法保证了至少与初始示范者相同的吸引域，且在模型不确定性和非线性连续控制任务中具有理论稳定性，并提升了软约束下的性能。

ABSTRACT

With a growing interest in data-driven control techniques, Model Predictive Control (MPC) provides a significant opportunity to exploit the surplus of data reliably, particularly while taking safety and stability into account. In this paper, we aim to infer the terminal cost of an MPC controller from transitions generated by an initial \emph{unknown} demonstrator. We propose an algorithm to alternatively learn the terminal cost and update the MPC parameters according to a stability metric. We design the terminal cost as a Lyapunov function neural network and theoretically show that, under limited approximation error, our proposed approach guarantees that the size of the stability region (region of attraction) is greater than or equal to the one from the initial demonstrator. We also present theorems that characterize the stability and performance of the learned MPC in the presence of model uncertainties and sub-optimality due to function approximation. Empirically, we demonstrate the efficacy of the proposed algorithm on non-linear continuous control tasks with soft constraints. Our results show that the proposed approach can improve upon the initial demonstrator also in practice and achieve better task performance than other learning-based baselines.

研究动机与目标

• 开发一种数据驱动的MPC框架，从专家示范中学习稳定终端代价，而无需事先了解系统动力学。
• 通过将终端代价构建为神经网络Lyapunov函数，确保理论上的稳定性保证。
• 在存在模型不确定性与近似误差的情况下，提升MPC的吸引域和性能，使其超越初始示范者。
• 仅使用示范数据，实现在具有软约束的非线性连续控制任务中的安全与稳定控制。
• 提供一种学习算法，通过稳定性度量交替优化终端代价和MPC参数。

提出的方法

• MPC中的终端代价被参数化为一个深度神经网络，作为Lyapunov函数以确保稳定性。
• 采用交替优化算法，利用来自Lyapunov理论的稳定性度量，更新神经网络终端代价和MPC参数。
• 理论分析表明，在近似误差有界的前提下，所学习的MPC保证其吸引域不小于初始示范者的吸引域。
• 该方法在模型不确定性和函数近似导致的次优性下，仍具备稳定性和性能保证。
• 算法基于未知示范者的转移数据进行训练，从而实现稳定且高性能MPC控制器的端到端学习。
• 在MPC公式中集成了软约束，以在存在扰动或约束违反时仍能获得可行解。

实验结果

研究问题

• RQ1 能否从专家示范中学习基于神经网络的终端代价函数，以在无系统先验知识的情况下确保MPC的稳定性？
• RQ2 所提出的算法是否能保证吸引域至少与初始示范者相同？
• RQ3 在Lyapunov函数存在模型不确定性和近似误差的情况下，该方法表现如何？
• RQ4 所学习的MPC控制器是否能在非线性控制任务中超越初始示范者及其他基于学习的基线方法？
• RQ5 将Lyapunov函数作为神经网络终端代价对MPC的稳定性和性能有何影响？

主要发现

• 在近似误差有界的前提下，所提出方法保证了所学习MPC的吸引域不小于初始示范者的吸引域。
• 理论分析证实，在模型不确定性和函数近似导致的次优性下，所学习MPC具有稳定性和性能边界。
• 实验结果表明，所学习的MPC在具有软约束的非线性连续控制任务中，性能优于初始示范者。
• 在仿真中，该方法在稳定性和控制性能方面优于其他基于学习的MPC基线方法。
• 神经网络Lyapunov函数能有效从示范数据中捕捉系统的稳定性特性，从而实现安全可靠的控制。
• 交替优化过程成功平衡了稳定性和性能，实际中实现了更优的收敛性和鲁棒性。