[论文解读] Sample Complexity of Sparse System Identification Problem

Salar Fattahi, Somayeh Sojoudi|arXiv (Cornell University)|Mar 21, 2018

Control Systems and Identification参考文献 18被引用 9

一句话总结

该论文提出了一种用于稀疏线性时不变（LTI）系统识别的块正则化估计器，利用高维统计方法，在数据量极少的情况下实现精确恢复。结果表明，样本复杂度随系统维数对数增长，随块大小和稀疏度多项式增长，即使样本数量远小于系统维数，也能实现精确的稀疏结构恢复。

ABSTRACT

In this paper, we study the system identification problem for sparse linear time-invariant systems. We propose a sparsity promoting block-regularized estimator to identify the dynamics of the system with only a limited number of input-state data samples. We characterize the properties of this estimator under high-dimensional scaling, where the growth rate of the system dimension is comparable to or even faster than that of the number of available sample trajectories. In particular, using contemporary results on high-dimensional statistics, we show that the proposed estimator results in a small element-wise error, provided that the number of sample trajectories is above a threshold. This threshold depends polynomially on the size of each block and the number of nonzero elements at different rows of input and state matrices, but only logarithmically on the system dimension. A by-product of this result is that the number of sample trajectories required for sparse system identification is significantly smaller than the dimension of the system. Furthermore, we show that, unlike the recently celebrated least-squares estimators for system identification problems, the method developed in this work is capable of extit{exact recovery} of the underlying sparsity structure of the system with the aforementioned number of data samples. Extensive case studies on synthetically generated systems, physical mass-spring networks, and multi-agent systems are offered to demonstrate the effectiveness of the proposed method.

研究动机与目标

• 解决在输入-状态数据样本有限的高维稀疏线性时不变（LTI）系统中进行系统识别的挑战。
• 克服经典最小二乘估计器在样本量小于系统维数时失效的局限性。
• 开发一种利用状态和输入矩阵中块稀疏性的方法，以减少所需样本轨迹数。
• 建立非渐近的样本复杂度界，以保证小的逐元素估计误差。
• 在有限样本条件下，证明能够精确恢复真实稀疏结构。

提出的方法

• 提出一种块正则化估计器，通过惩罚系统矩阵中块的ℓ∞-范数来促进块稀疏性。
• 利用高维统计工具，在高维尺度下推导出非渐近误差界。
• 使用块结构化的状态空间方程建模系统，其中每个块对应子系统之间的相互作用。
• 应用正则化优化框架，从有限的输入-状态轨迹中估计系统矩阵。
• 借鉴高维Lasso型估计的成果，分析一致性和误差率。
• 使用前向欧拉法对连续时间系统进行离散化，以进行数值评估。

实验结果

研究问题

• RQ1 在稀疏LTI系统中，实现小的逐元素估计误差所需的最少输入-状态样本轨迹数是多少？
• RQ2 当样本数少于系统维数时，块正则化估计器能否精确恢复系统矩阵的真实稀疏结构？
• RQ3 样本复杂度如何随系统维数、块大小和非零块数量变化？
• RQ4 在有限样本条件下，该估计器与最小二乘法和标准Lasso在估计精度方面有何比较？
• RQ5 该方法能否有效识别具有切换拓扑的多智能体系统和网络化系统中的系统动力学？

主要发现

• 当样本轨迹数超过一个阈值时，所提出的块正则化估计器可实现小的逐元素估计误差，该阈值随系统维数对数增长，随块大小和稀疏度多项式增长。
• 该方法可在远少于系统维数的样本数下，实现对系统矩阵底层块稀疏结构的精确恢复。
• 在质量-弹簧网络中，仅需900条样本轨迹即可实现RME ≤ 0.1%，而最小二乘法需超过2000条样本才能定义。
• 对于块大小为(5,5)、(8,8)和(11,11)的多智能体系统，分别需要195、278和434条样本轨迹才能实现RME ≤ 0.1%。
• 块正则化估计器在准确性和可行性方面均优于最小二乘法，即使样本数低于900时仍保持有效，而最小二乘法无法唯一存在。
• 在所有测试的系统维数和样本大小下，所提方法的归一化估计误差始终低于最小二乘法。