[论文解读] Nonparametric Finite Time LTI System Identification

Tuhin Sarkar, Alexander Rakhlin+1 more|arXiv (Cornell University)|Feb 5, 2019

Control Systems and Identification参考文献 31被引用 4

一句话总结

该论文提出了一种非参数的有限时间系统辨识方法，用于稳定线性时不变（LTI）系统，其系统阶数未知，通过从噪声输入-输出数据中使用普通最小二乘法构建一个类似汉克尔（Hankel）的矩阵。该方法通过避免非凸优化，实现了精确的低阶近似，且在识别误差上具有理论保证，误差范围在统计下界以对数因子内，并提出了与霍-卡尔曼（Ho-Kalman）算法紧密关联的数据依赖型模型阶数选择方案。

ABSTRACT

We address the problem of learning the parameters of a stable linear time invariant (LTI) system or linear dynamical system (LDS) with unknown latent space dimension, or order, from a single time--series of noisy input-output data. We focus on learning the best lower order approximation allowed by finite data. Motivated by subspace algorithms in systems theory, where the doubly infinite system Hankel matrix captures both order and good lower order approximations, we construct a Hankel-like matrix from noisy finite data using ordinary least squares. This circumvents the non-convexities that arise in system identification, and allows accurate estimation of the underlying LTI system. Our results rely on careful analysis of self-normalized martingale difference terms that helps bound identification error up to logarithmic factors of the lower bound. We provide a data-dependent scheme for order selection and find an accurate realization of system parameters, corresponding to that order, by an approach that is closely related to the Ho-Kalman subspace algorithm. We demonstrate that the proposed model order selection procedure is not overly conservative, i.e., for the given data length it is not possible to estimate higher order models or find higher order approximations with reasonable accuracy.

研究动机与目标

• 解决从单个噪声输入-输出时间序列中对稳定LTI系统进行有限时间系统辨识的问题，其潜在维度（阶数）未知。
• 开发一种非参数方法，基于有限数据自适应选择最优模型阶数，避免依赖对系统阶数的先验知识。
• 为最佳低阶近似提供识别误差的统计保证，其误差范围在极小化最大误差下界以对数因子内。
• 构建一种数据驱动的模型阶数选择程序，不过分保守，确保充分利用可用的数据长度。

提出的方法

• 使用普通最小二乘法从有限噪声输入-输出数据中构建一个类似汉克尔的矩阵，避免系统辨识中的非凸性问题。
• 利用双重无限系统汉克尔矩阵的结构，同时捕捉系统阶数与低阶近似。
• 通过对自归一化鞅差项的细致分析，将识别误差上界控制在对数因子范围内。
• 基于估计汉克尔矩阵的奇异值，提出一种基于数据的模型阶数选择方案，受霍-卡尔曼子空间算法启发。
• 将系统实现问题表述为低秩逼近任务，从而实现对选定阶数下系统参数（A, B, C）的精确估计。
• 采用主动输入设计，并应用比尔吉（Birge）不等式与莱·卡姆（Le Cam）方法，推导识别误差的信息论下界。

实验结果

研究问题

• RQ1 非参数系统辨识方法是否能从有限噪声数据中实现对高阶LTI系统的精确低阶近似，而无需事先知道系统阶数？
• RQ2 有限时间LTI系统辨识的识别误差的根本统计极限是什么？所提方法是否能在对数因子范围内达到该极限？
• RQ3 如何设计一种数据驱动的模型阶数选择程序，以避免过拟合并确保在给定数据长度下，无法合理估计更高阶模型？
• RQ4 霍-卡尔曼子空间算法在多大程度上可被适配用于有限数据、噪声环境下的系统辨识，并提供可证明的统计保证？
• RQ5 是否可能构建一个非凸系统辨识框架，通过使用最小二乘汉克尔矩阵估计器来避免局部极小值？

主要发现

• 所提方法的识别误差在极小化最大误差下界以对数因子范围内，确立了统计最优性（对数项内）。
• 数据依赖的模型阶数选择程序不过分保守，即对于给定数据长度T，无法合理估计更高阶模型。
• 在类似汉克尔的矩阵上使用普通最小二乘法，有效规避了非凸优化，实现了无局部极小值问题的全局最优估计。
• 理论分析表明，在适当假设下，识别误差被一个随O((log T)/T)量级的项所界定，且该界依赖于汉克尔矩阵的条件数。
• 该方法成功实现了系统的低秩实现，即使真实阶数较高且未知，也能以高保真度逼近真实系统。
• 通过构建具有已知秩和条件数的汉克尔矩阵的规范系统，实现了识别误差的紧致下界，验证了理论结论。