[论文解读] On the Sample Complexity of Stabilizing LTI Systems on a Single Trajectory

Hu Yang, Adam Wierman+1 more|arXiv (Cornell University)|Feb 15, 2022

Advanced Control Systems Optimization被引用 4

一句话总结

该论文提出了一种基于谱分解的新型算法，仅通过单条轨迹上的 \tilde{O}(k) 个样本即可稳定未知的线性时不变（LTI）系统，其中 k 为不稳定特征值的数量。通过仅关注不稳定子空间内的动力学学习，该方法实现了次线性样本复杂度，并将状态范数增长限制在 2^{\tilde{O}(k)} 范围内，显著优于以往方法中在状态维度 n 上线性增长且状态范数呈指数级增长的缺陷。

ABSTRACT

Stabilizing an unknown dynamical system is one of the central problems in control theory. In this paper, we study the sample complexity of the learn-to-stabilize problem in Linear Time-Invariant (LTI) systems on a single trajectory. Current state-of-the-art approaches require a sample complexity linear in $n$, the state dimension, which incurs a state norm that blows up exponentially in $n$. We propose a novel algorithm based on spectral decomposition that only needs to learn "a small part" of the dynamical matrix acting on its unstable subspace. We show that, under proper assumptions, our algorithm stabilizes an LTI system on a single trajectory with $ ilde{O}(k)$ samples, where $k$ is the instability index of the system. This represents the first sub-linear sample complexity result for the stabilization of LTI systems under the regime when $k = o(n)$.

研究动机与目标

• 解决在缺乏稳定控制器先验知识的情况下，稳定未知 LTI 系统的根本挑战。
• 将学习-稳定化算法的样本复杂度降低至低于以往最先进方法在状态维度 n 上的线性边界。
• 在学习过程中最小化状态范数的爆炸性增长，当前方法在 n 上呈指数增长，限制了其在高维系统中的适用性。
• 开发一种仅学习系统动力学关键部分——即不稳定子空间——的方法，从而实现以更少样本实现高效稳定化。

提出的方法

• 该算法对系统矩阵 A 执行谱分解，以分离出由模大于 1 的特征值对应的特征向量张成的不稳定子空间 Eu。
• 学习过程仅聚焦于 A 限制在 Eu 上的有效动力学，该部分仅需估计 O(k) 个参数。
• 该方法采用三阶段流程：(1) 沿单条轨迹收集数据，直至状态在 Eu 上的投影足够大；(2) 使用最小二乘法在不稳定子空间上估计受限动力学矩阵；(3) 基于估计的不稳定动力学设计稳定控制器。
• 通过 τ-跳策略设计控制器，直接针对不稳定特征模态进行稳定，避免对全系统进行识别。
• 利用浓度不等式和联合界推导理论保证，表明在弱假设下，采样到合适初始状态的概率较高（1 - O(k^{-\ell})）。
• 该算法动态调整参数：选择最小的 t₀ 以保证可接受的估计误差，选择最小的 τ 以保证控制器稳定性，并在不稳定分量足够增长时提前终止预热阶段。

实验结果

研究问题

• RQ1 我们能否在单条轨迹上稳定一个未知的 LTI 系统，而不会导致状态范数随状态维度 n 呈指数级增长？
• RQ2 是否可能在状态维度 n 上实现学习-稳定化问题的次线性样本复杂度，特别是在不稳定模态数 k 远小于 n 的情况下？
• RQ3 我们能否通过仅关注不稳定子空间而避免学习完整系统矩阵 A，同时仍能以高概率保证系统稳定？
• RQ4 在事先未知稳定控制器的情况下，稳定一个 LTI 系统所需的最少样本数是多少？

主要发现

• 所提出的算法仅通过单条轨迹上的 \tilde{O}(k) 个样本即可稳定 LTI 系统，其中 k 为不稳定性指标（即不稳定特征值的数量）。
• 学习过程中的状态范数增长为 2^{\tilde{O}(k)}，当 k ≪ n 时，远小于以往方法中观察到的 2^{O(n)} 增长。
• 该方法通过仅学习限制在不稳定子空间 Eu 上的动力学实现，将有效学习维度从 n 降低至 k。
• 成功采样到可启动学习的初始状态的概率至少为 1 - O(k^{-\ell})，在 k 的实际取值下该概率较高。
• 数值实验表明，与朴素的系统识别与极点配置方法相比，该算法所需运行步数显著更少，且诱导的状态范数也小得多。
• 该方法对加性高斯噪声具有鲁棒性，仅导致所需步数略有增加，且由于不稳定分量的指数增长，噪声在后期阶段可忽略不计。