[论文解读] On the Certainty-Equivalence Approach to Direct Data-Driven LQR Design

Florian Dörfler, Pietro Tesi+1 more|arXiv (Cornell University)|Sep 14, 2021

Control Systems and Identification被引用 12

一句话总结

本文提出了一种新颖的直接、正则化的数据驱动LQR设计方法，弥合了间接确定性等价方法与直接鲁棒方法之间的差距。通过将最小二乘系统辨识与名义LQR设计的两阶段问题重新表述为一个带有数据拟合正则项的单层优化问题，该方法在噪声数据下实现了稳定性与性能保证，具有显式的信噪比（SNR）相关边界，并在结合确定性等价与鲁棒性促进正则项时展现出优越的实验性能。

ABSTRACT

The linear quadratic regulator (LQR) problem is a cornerstone of automatic control, and it has been widely studied in the data-driven setting. The various data-driven approaches can be classified as indirect (i.e., based on an identified model) versus direct or as robust (i.e., taking uncertainty into account) versus certainty-equivalence. Here we show how to bridge these different formulations and propose a novel, direct, and regularized formulation. We start from indirect certainty-equivalence LQR, i.e., least-square identification of state-space matrices followed by a nominal model-based design, formalized as a bi-level program. We show how to transform this problem into a single-level, regularized, and direct data-driven control formulation, where the regularizer accounts for the least-square data fitting criterion. For this novel formulation we carry out a robustness and performance analysis in presence of noisy data. Our proposed direct and regularized formulation is also amenable to be further blended with a robust-stability-promoting regularizer. In a numerical case study we compare regularizers promoting either robustness or certainty-equivalence, and we demonstrate the remarkable performance when blending both of them.

研究动机与目标

• 将间接确定性等价LQR与直接数据驱动控制统一，通过将两阶段的辨识-设计问题转化为单层公式。
• 推导一种正则化的直接数据驱动LQR公式，其中正则项强制执行最小二乘数据拟合，从而与确定性等价性建立联系。
• 在噪声数据下提供非渐近的鲁棒性与性能分析，且独立于噪声分布。
• 实现确定性等价与鲁棒性促进正则项的融合，以提升实验性能。
• 证明所提方法在大正则化参数下可恢复间接方法，并在高信噪比下实现近似最优性能。

提出的方法

• 将间接确定性等价LQR形式化为两阶段优化问题：通过最小二乘法进行系统辨识，随后基于名义模型进行LQR设计。
• 利用舒尔补与矩阵提升技术，将两阶段问题转化为单层、正则化、数据驱动的优化问题。
• 在LQR目标函数中引入一个数据拟合正则项，其对应于系统辨识中的最小二乘误差，从而促进确定性等价性。
• 通过代数与半定规划变换，建立正则化直接公式与经典间接确定性等价LQR之间的等价性。
• 整合先前工作中提出的鲁棒性促进正则项，以增强低信噪比下的稳定性，实现混合正则化。
• 通过非渐近分析，推导出闭环稳定性与次优性差距随信噪比与样本量变化的显式条件。

实验结果

研究问题

• RQ1 是否可以将间接确定性等价LQR方法重新表述为具有明确正则项的直接、单层、数据驱动优化问题？
• RQ2 所提正则项与最小二乘系统辨识有何关联？其在促进稳定性与性能方面发挥何种作用？
• RQ3 在何种条件下，确定性等价方法可在噪声数据下产生稳定控制器，且独立于噪声分布？
• RQ4 在有限样本条件下，次优性差距如何随信噪比（SNR）变化？
• RQ5 结合确定性等价与鲁棒性促进正则项是否能带来更优的实验性能？

主要发现

• 所提的直接、正则化的数据驱动LQR公式在数学上等价于经典的间接确定性等价LQR，其中正则项通过最小二乘法强制实现数据拟合。
• 当信噪比（SNR）足够高时，确定性等价控制器可使闭环系统稳定，且与噪声分布无关。
• 在足够高的SNR下，次优性差距与SNR呈线性关系，证实了在低不确定性环境下性能强劲。
• 来自[16]的鲁棒性促进正则项在低SNR下提升性能，但在高SNR下性能下降；而确定性等价正则项在高SNR条件下表现更优。
• 将两种正则项结合于单一公式中，可实现显著的实验性能提升，优于单独使用任一正则项。
• 该方法推导与实现均简洁，具有向其他系统类别、辨识准则与控制目标扩展的潜力。