[论文解读] Non-asymptotic and Accurate Learning of Nonlinear Dynamical Systems

Yahya Sattar, Samet Oymak|arXiv (Cornell University)|Feb 20, 2020

Model Reduction and Neural Networks参考文献 56被引用 16

一句话总结

本文针对从单一有限轨迹学习非线性动力系统，提出了非渐近保证。通过利用稳定控制策略下的混合时间论证，将时间上相关的样本转化为有效的i.i.d.近似，从而实现对噪声敏感的统一收敛界，确保在低样本复杂度下实现高精度学习非线性动力系统，且激活函数为逐元素形式。

ABSTRACT

We consider the problem of learning stabilizable systems governed by nonlinear state equation $h_{t+1}=ϕ(h_t,u_t;θ)+w_t$. Here $θ$ is the unknown system dynamics, $h_t $ is the state, $u_t$ is the input and $w_t$ is the additive noise vector. We study gradient based algorithms to learn the system dynamics $θ$ from samples obtained from a single finite trajectory. If the system is run by a stabilizing input policy, we show that temporally-dependent samples can be approximated by i.i.d. samples via a truncation argument by using mixing-time arguments. We then develop new guarantees for the uniform convergence of the gradients of empirical loss. Unlike existing work, our bounds are noise sensitive which allows for learning ground-truth dynamics with high accuracy and small sample complexity. Together, our results facilitate efficient learning of the general nonlinear system under stabilizing policy. We specialize our guarantees to entry-wise nonlinear activations and verify our theory in various numerical experiments

研究动机与目标

• 解决从单一有限轨迹学习非线性动力系统时的非渐近样本复杂度挑战。
• 为经验梯度开发对噪声敏感的统一收敛保证，改进以往忽略噪声依赖性的研究。
• 建立具有逐元素非线性激活函数的非线性系统中梯度下降的收敛性与样本复杂度边界。
• 通过非线性动力系统的数值实验验证理论结果。

提出的方法

• 利用混合时间论证，将单一轨迹中时间相关的样本近似为在稳定输入策略下的i.i.d.样本。
• 提出新的经验损失梯度统一收敛界，显式考虑噪声影响，从而实现高精度学习。
• 将该框架应用于线性和非线性动力系统，包括具有逐元素非线性激活（如ReLU）的系统。
• 通过集中不等式与系统状态转移动力学的谱性质推导样本复杂度边界。
• 采用学习率依赖于系统稳定性和噪声水平的梯度下降算法，确保收敛至真实动力学。
• 利用轨迹长度与混合时间的概率界，确保迭代值以高概率收敛至真实参数。

实验结果

研究问题

• RQ1 梯度下降能否在单一有限轨迹下实现非渐近、高精度的非线性动力系统学习？
• RQ2 如何有效处理系统轨迹中的时间依赖性，以实现类似i.i.d.的统计保证？
• RQ3 当分析中显式考虑噪声时，学习非线性动力系统的最优样本复杂度是什么？
• RQ4 系统的混合时间与稳定性特性如何影响基于梯度的学习的收敛性与泛化能力？
• RQ5 对于具有逐元素非线性激活的非线性系统，学习的理论样本复杂度与迭代复杂度边界是什么？

主要发现

• 学习非线性系统的样本复杂度受以下边界约束：$ N \gtrsim \frac{C_{\rho}^4}{\gamma^4(1-\rho)^4} \log^2(3(1+\sigma)n + 3C_{\rho}(1+\sigma)\|\bm{\Theta}_\star\|_F n^{3/2} \log^{3/2}(2T)N/(1-\rho) + 3)n $，确保高概率收敛。
• 近似混合时间为 $ L = \left\lceil 1 + \frac{\log(CC_{\rho}(1+\|\bm{\Theta}_\star\|_F\beta_+)Nn)}{1-\rho} \right\rceil $，该值决定了有效i.i.i.d.采样窗口。
• 梯度下降迭代值以速率 $ \left(1 - \frac{\gamma^4(1-\rho)^4}{512C_{\rho}^4n^2}\right)^\tau $ 线性收敛至真实参数，表明在系统稳定条件下收敛迅速。
• 当 $ N \gtrsim \frac{C_{\rho}^4}{\gamma^4(1-\rho)^4} \log^2(\cdots)n $ 时，残差误差项有界于 $ \lesssim \sigma $，表明即使在存在噪声的情况下仍能实现高精度学习。
• 理论边界通过数值实验得到验证，结果与具有ReLU型非线性的系统实际性能高度一致。
• 该框架对系统参数与噪声实现了最优依赖关系，优于以往忽略噪声敏感性的研究工作。