[论文解读] No-Regret Prediction in Marginally Stable Systems

Udaya Ghai, Holden Lee+3 more|arXiv (Cornell University)|Feb 6, 2020

Advanced Bandit Algorithms Research参考文献 39被引用 5

一句话总结

该论文在对抗性或非各向同性随机扰动下，为在边际稳定线性动态系统中进行在线最小二乘预测建立了次线性后悔。在标准参数恢复失效的情况下，通过引入一个结构体积加倍引理，表明当前状态即使在多项式增长下，也是过去状态的较小线性组合，作者实现了有界多项式后悔，随机情况下进一步改善为多对数后悔，部分观测高斯设定下为对数后悔。

ABSTRACT

We consider the problem of online prediction in a marginally stable linear dynamical system subject to bounded adversarial or (non-isotropic) stochastic perturbations. This poses two challenges. Firstly, the system is in general unidentifiable, so recent and classical results on parameter recovery do not apply. Secondly, because we allow the system to be marginally stable, the state can grow polynomially with time; this causes standard regret bounds in online convex optimization to be vacuous. In spite of these challenges, we show that the online least-squares algorithm achieves sublinear regret (improvable to polylogarithmic in the stochastic setting), with polynomial dependence on the system's parameters. This requires a refined regret analysis, including a structural lemma showing the current state of the system to be a small linear combination of past states, even if the state grows polynomially. By applying our techniques to learning an autoregressive filter, we also achieve logarithmic regret in the partially observed setting under Gaussian noise, with polynomial dependence on the memory of the associated Kalman filter.

研究动机与目标

• 解决由于对抗性或非各向同性噪声导致系统参数不可识别的边际稳定线性动态系统中的在线预测问题。
• 克服当状态随时间多项式增长时，标准在线凸优化后悔界变得无意义的挑战。
• 证明即使在系统不可识别且状态多项式增长的情况下，在线最小二乘法仍能实现次线性后悔。
• 将分析扩展到具有高斯噪声的部分观测设定，实现仅依赖于卡尔曼滤波记忆的对数后悔。
• 提出一个结构引理，表明当前状态是过去状态的较小线性组合，从而实现更紧的后悔分析。

提出的方法

• 引入一个结构体积加倍引理，证明当前状态 $x_t$ 即使在多项式增长下，也能表示为过去状态的较小线性组合。
• 采用改进的后悔分析，以鞅论证替代最坏情况界，实现在随机设定下的多对数后悔。
• 对部分观测系统应用自回归滤波方法，利用卡尔曼滤波记忆来控制后悔界。
• 建立递推关系 $x_t = A^k x_{t-k} + \tilde{\theta}_t$ 以分析长程依赖并控制误差传播。
• 使用矩阵分解 $A = V D V^{-1}$ 来有界 $A$ 的幂的范数，确保与系统参数的多项式依赖。
• 利用 $x_t$ 是过去噪声项的线性组合且系数受系统参数有界的事实，控制状态重构中的误差。

实验结果

研究问题

• RQ1 在对抗性扰动下，即使存在不可识别性和多项式状态增长，在线最小二乘法是否能在边际稳定线性系统中实现次线性后悔？
• RQ2 在随机设定下，即使没有各向同性噪声或参数恢复，后悔界是否能改善为多对数？
• RQ3 在具有高斯噪声的部分观测设定下，是否能实现仅依赖于卡尔曼滤波记忆的对数后悔？
• RQ4 对于边际稳定系统，$T^{(2r+1)/(2r+2)}$ 忽略率是否最优，特别是在可对角化情况下？
• RQ5 能否将后悔界表示为系统阶数 $d$ 的函数而非滚动长度 $\ell$，以反映系统的内在复杂度？

主要发现

• 在线最小二乘算法在对抗性扰动下的边际稳定线性系统中实现了次线性后悔 $O(T^{(2r+1)/(2r+2)})$，且对系统参数具有多项式依赖。
• 在随机设定下，后悔界改善为多对数 $\text{polylog}(T)$，且独立于参数收敛。
• 对于具有高斯噪声的部分观测系统，论文实现了对数后悔 $O(\log T)$，且对卡尔曼滤波滚动长度 $\ell$ 具有多项式依赖。
• 一个结构体积加倍引理表明，$x_t$ 是过去状态的较小线性组合，即使在多项式增长下也能实现更紧的后悔控制。
• 该分析不依赖于参数恢复或系统可识别性，因此对模型误设和非各向同性噪声具有鲁棒性。
• 通过将残差视为对抗性项，该结果可推广至非高斯噪声，得到 $T^{(2r+1)/(2r+2)}$ 忽略率，但此类情况下多对数后悔仍为开放问题。