[论文解读] Sharp Spectral Rates for Koopman Operator Learning

Vladimir R. Kostic, Karim Lounici+2 more|arXiv (Cornell University)|Feb 3, 2023

Model Reduction and Neural Networks被引用 4

一句话总结

本文首次为Koopman算子特征值与特征函数提供了非渐近学习界，基于扩展动态模态分解（EDMD）与降秩回归（RRR）。研究引入了度量失真作为关键因素，与算子范数误差并列分析，揭示EDMD的偏差高于RRR，从而解释了其学习速率更慢以及在实践中对虚假特征值更敏感的原因。

ABSTRACT

Nonlinear dynamical systems can be handily described by the associated Koopman operator, whose action evolves every observable of the system forward in time. Learning the Koopman operator and its spectral decomposition from data is enabled by a number of algorithms. In this work we present for the first time non-asymptotic learning bounds for the Koopman eigenvalues and eigenfunctions. We focus on time-reversal-invariant stochastic dynamical systems, including the important example of Langevin dynamics. We analyze two popular estimators: Extended Dynamic Mode Decomposition (EDMD) and Reduced Rank Regression (RRR). Our results critically hinge on novel {minimax} estimation bounds for the operator norm error, that may be of independent interest. Our spectral learning bounds are driven by the simultaneous control of the operator norm error and a novel metric distortion functional of the estimated eigenfunctions. The bounds indicates that both EDMD and RRR have similar variance, but EDMD suffers from a larger bias which might be detrimental to its learning rate. Our results shed new light on the emergence of spurious eigenvalues, an issue which is well known empirically. Numerical experiments illustrate the implications of the bounds in practice.

研究动机与目标

• 为时间反演不变的随机动力系统中的Koopman特征值与特征函数建立非渐近学习界。
• 从谱估计误差的角度，分析EDMD与RRR估计器的统计性能。
• 识别Koopman算子学习中虚假特征值出现的原因，尤其关注偏差与度量失真之间的关系。
• 为从数据中检测虚假特征值提供理论框架，基于新颖的误差界。
• 推导有限秩Koopman算子的极小极大最优算子范数误差界。

提出的方法

• 提出一种新颖的度量失真泛函，用于量化特征函数在再生核Hilbert空间（RKHS）与环境$L^2_\pi$空间之间范数的变化。
• 推导Koopman算子估计器算子范数误差的精确非渐近界，实现对有限秩算子的极小极大最优性。
• 利用摄动理论与谱分解，基于算子范数误差与度量失真，界定了特征值与特征向量估计误差。
• 将该界应用于EDMD（通过PCR）与RRR，表明RRR具有更低的偏差与更优的学习速率。
• 提出一种基于定理4中谱界的数据驱动方法，用于检测虚假特征值。
• 采用浓度不等式与随机矩阵理论，控制高维、有限样本设置下的误差。

实验结果

研究问题

• RQ1 EDMD与RRR在偏差与方差方面，其谱估计误差如何比较？
• RQ2 度量失真在Koopman特征函数估计精度中扮演何种角色？
• RQ3 为何在算子范数误差较小时，Koopman算子学习中仍会出现虚假特征值？
• RQ4 所提出的误差界能否用于从有限数据中检测虚假特征值？
• RQ5 在一般正则性条件下，Koopman特征值与特征函数的精确非渐近学习速率为何？

主要发现

• EDMD的偏差大于RRR，尽管方差相近，但导致谱学习速率更慢。
• 算子范数误差以极小极大最优方式最小化，其界在正则性条件下呈$O(n^{-\frac{\alpha}{2(\alpha+\beta)}})$的量级。
• 度量失真对谱误差控制至关重要；忽略它可能导致算子范数误差看似很小，即使存在虚假特征值。
• 当估计的特征值与真实Koopman特征值未对齐时，即使算子范数误差较小，虚假特征值仍会出现——这由高程度量失真与偏差所解释。
• Langevin动力学的数值实验表明，RRR在特征值与特征函数误差上均优于EDMD，其衰减率分别约为$n^{-0.35}$与$n^{-0.45}$。
• 基于定理4的检测方法在Alanine二肽数据集中成功识别出虚假特征值，方法结合核选择与误差阈值化处理。