[论文解读] Second-Order Sampling-Based Stability Guarantee for Data-Driven Control Systems

Yuji Ito, Kenji Fujimoto|arXiv (Cornell University)|Jul 19, 2017

Advanced Control Systems Optimization参考文献 13被引用 5

一句话总结

该论文提出了一种基于二阶采样估计的高斯核函数稳定性边界，以实现对非线性系统的稳定、数据驱动控制。通过利用稳定性不等式中 $O(\tau^2)$ 的边界，并将其与非线性最优控制理论相结合，该方法设计出一种针对高斯过程动态系统的稳定（次）最优控制器，其计算复杂度相比一阶方法显著降低。

ABSTRACT

This study presents a sampling-based method to guarantee robust stability of general control systems with uncertainty. The method allows the system dynamics and controllers to be represented by various data-driven models, such as Gaussian processes and deep neural networks. For nonlinear systems, stability conditions involve inequalities over an infinite number of states in a state space. Sampling-based approaches can simplify these hard conditions into inequalities discretized over a finite number of states. However, this simplification requires margins to compensate for discretization residuals. Large margins degrade the accuracy of stability evaluation, and obtaining appropriate margins for various systems is challenging. This study addresses this challenge by deriving second-order margins for various nonlinear systems containing data-driven models. Because the size of the derived margins decrease quadratically as the discretization interval decreases, the stability evaluation is more accurate than with first-order margins. Furthermore, this study designs feedback controllers by integrating the sampling-based approach with an optimization problem. As a result, the controllers can guarantee stability while simultaneously considering control performance.

研究动机与目标

• 为解决在数据驱动控制系统中保证稳定性，特别是针对基于高斯过程（GP）的动力学系统的问题。
• 克服在状态空间中对无限稳定性条件进行评估所带来的计算负担。
• 开发一种方法，可在无需预定义控制律的情况下，同时设计出稳定控制器。
• 将基于GP函数的二阶边界与非线性最优控制理论统一，用于稳定性认证。

提出的方法

• 推导了高斯核函数 $\Phi(x)$ 的二阶 $O(\tau^2)$ 边界，包括多项式、GP、高斯混合模型及其和/积形式。
• 采用连续分段仿射（CPA）方法，利用间距为 $\tau$ 的采样状态，计算 $\Phi(x)$ 的紧致上界与下界。
• 将推导出的边界集成到李雅普诺夫不等式与汉密尔顿-雅可比-贝尔曼（HJB）方程中，用于稳定性分析。
• 将值函数 $\hat{V}(x;\alpha)$ 参数化为核展开形式，以支持通过梯度方法优化控制器。
• 采用基于梯度的优化方案，学习满足稳定性条件的控制器参数 $\alpha$。
• 基于线性化LQR设计正则化与初始化策略，以提升收敛性与稳定性。

实验结果

研究问题

• RQ1 二阶边界是否能减少在基于GP的控制系统中认证稳定性所需的采样状态数量？
• RQ2 如何在不假设预定义控制律的前提下，直接为GP动力学设计稳定（次）最优控制器？
• RQ3 与一阶 $O(\tau)$ 边界相比，$O(\tau^2)$ 边界在稳定性验证中能将计算效率提升多少？
• RQ4 所提方法是否能在保持次优性能的同时，保证在较大状态空间区域内的稳定性？
• RQ5 与缺乏稳定性保证的初始控制器相比，控制器性能如何？

主要发现

• 所提方法在稳定性不等式上实现了 $O(\tau^2)$ 边界，与一阶方法相比，显著减少了所需采样数。
• 所提控制器稳定了大部分状态空间，仅在原点附近存在小范围不稳定区域，仿真结果已证实。
• 初始控制器表现出大范围不稳定区域，而所提控制器稳定了大部分状态空间，稳定性图中的白区已验证该结论。
• 通过所推导的 $O(\tau^2)$ 估计，有效界定了值函数 $\hat{V}(x;\alpha)$ 与导数项 $H_{\dot{V}}$，从而实现稳定性认证。
• 控制器在441个采样状态上经10000次梯度下降迭代成功优化，初始化基于线性化LQR。
• 该方法可广泛应用于多种函数形式，包括GP均值与方差、多项式及高斯混合模型，通过通用形式 $\Phi(x) = \sum_j c_j \Phi_j(x)$ 实现。