[论文解读] Spectral Filtering for General Linear Dynamical Systems

Elad Hazan, Holden Lee+3 more|arXiv (Cornell University)|Feb 12, 2018

Control Systems and Identification参考文献 11被引用 19

一句话总结

本论文提出了一种针对具有潜伏状态的一般线性动态系统（LDS）在线预测的多项式时间算法，通过一种新颖的凸松弛方法进行谱滤波，以处理非对称转移矩阵。该方法实现了 $Õ(ackslash sqrt{T})$ 的遗憾，且不依赖于谱半径，从而在对抗性噪声和一般系统动态下实现高效学习。

ABSTRACT

We give a polynomial-time algorithm for learning latent-state linear dynamical systems without system identification, and without assumptions on the spectral radius of the system's transition matrix. The algorithm extends the recently introduced technique of spectral filtering, previously applied only to systems with a symmetric transition matrix, using a novel convex relaxation to allow for the efficient identification of phases.

研究动机与目标

• 开发一种可证明高效的在线预测算法，适用于具有未观测潜伏状态和未知动态的一般线性动态系统。
• 克服先前谱滤波方法的局限性，这些方法要求转移矩阵对称，因此在一般（非对称）LDS中失效。
• 消除遗憾界中对谱半径 $\rho(A)$ 的依赖，从而在不稳定或病态系统中也能实现鲁棒性能。
• 提供一种多项式时间解法，具备最优遗憾保证，避免了先前工作中使用的指数时间离散化方法。
• 建立一种用于LDS中联合相位与参数识别的新颖凸松弛方法，适用于非凸设置下的遗憾最小化。

提出的方法

• 提出一种新颖的凸松弛方法，可同时识别复特征值的相位和系统参数，从而在非凸LDS设置下实现高效学习。
• 采用大小为 $d$（潜伏状态维度）的自回归时间窗口来建模对过去输入和输出的依赖，提升对噪声和复杂动态的鲁棒性。
• 对由输入-输出数据构建的汉克尔矩阵应用谱滤波，通过相位感知分解方法处理复特征值。
• 应用一种波滤波方法，即使特征值为复数，也能通过从特征结构导出的低秩子空间近似冲激响应。
• 将伪LDS预测器与遗憾最小化相结合，确保预测结果在均方误差意义下接近事后最优LDS。
• 通过系统相关多项式范数界定了自回归近似的误差，确保稳定性和收敛性。

实验结果

研究问题

• RQ1 谱滤波能否扩展到具有复特征值的一般（非对称）线性动态系统？
• RQ2 是否可能设计一种凸松弛方法，实现在非凸LDS学习中对特征相位与系统参数的联合识别？
• RQ3 能否设计一种多项式时间算法，在不依赖谱半径 $\rho(A)$ 的前提下实现 $\tilde{O}(\sqrt{T})$ 遗憾？
• RQ4 大小为 $d$ 的自回归模型在多大程度上能近似具有潜伏状态和复杂动态的一般LDS？
• RQ5 在对抗性噪声下，在线LDS预测中近似误差与遗憾之间的权衡如何？

主要发现

• 该算法实现了遗憾界 $\mathsf{Regret}(T) \leq \tilde{O}(\sqrt{T}) + K \cdot L$，其中 $L$ 是对抗性扰动带来的不可避免损失，$K$ 以系统维度和范数的多项式形式依赖于系统参数。
• 遗憾与谱半径 $\rho(A)$ 无关，这是对先前方法的重大改进，后者需要 $\tilde{O}(1/(1-\rho(A)))$ 的依赖。
• 运行时间在所有自然参数下均为多项式时间，使其成为首个在一般LDS预测中具备此类保证的高效算法。
• 自回归模型的近似误差由系统相关多项式的范数有界，确保了稳定性和收敛性。
• 即使转移矩阵 $A$ 为非对称且具有复特征值，该方法仍能实现 $\tilde{O}(\sqrt{T})$ 遗憾，克服了先前谱滤波方法的主要局限。
• 理论分析确认，该算法的误差主要由 $\tilde{O}(\sqrt{T})$ 项主导，并受一个与噪声相关的项 $O(R_{\infty}^2 \tau^3 R_{\Theta}^2 R_{\Psi}^2 L)$ 影响，所有常数均为系统参数的多项式。