[论文解读] Variational approach for learning Markov processes from time series data

Hao Wu, Frank Noé|arXiv (Cornell University)|Jul 14, 2017

Model Reduction and Neural Networks参考文献 61被引用 45

一句话总结

本文提出了变分马尔可夫过程方法（VAMP），一种数据驱动的方法，用于从时间序列数据中学习最优的低维特征映射和线性马尔可夫模型。通过利用科波曼算子的谱分解，VAMP-$r$评分实现了模型优化，而VAMP-E则支持交叉验证以进行超参数调优，从而在可逆、不可逆、平稳和非平稳过程中均实现了精确的动力学近似。

ABSTRACT

Inference, prediction and control of complex dynamical systems from time series is important in many areas, including financial markets, power grid management, climate and weather modeling, or molecular dynamics. The analysis of such highly nonlinear dynamical systems is facilitated by the fact that we can often find a (generally nonlinear) transformation of the system coordinates to features in which the dynamics can be excellently approximated by a linear Markovian model. Moreover, the large number of system variables often change collectively on large time- and length-scales, facilitating a low-dimensional analysis in feature space. In this paper, we introduce a variational approach for Markov processes (VAMP) that allows us to find optimal feature mappings and optimal Markovian models of the dynamics from given time series data. The key insight is that the best linear model can be obtained from the top singular components of the Koopman operator. This leads to the definition of a family of score functions called VAMP-r which can be calculated from data, and can be employed to optimize a Markovian model. In addition, based on the relationship between the variational scores and approximation errors of Koopman operators, we propose a new VAMP-E score, which can be applied to cross-validation for hyper-parameter optimization and model selection in VAMP. VAMP is valid for both reversible and nonreversible processes and for stationary and non-stationary processes or realizations.

研究动机与目标

• 开发一种基于变分原理的统一框架，用于从时间序列数据中学习马尔可夫动力学。
• 识别能够将复杂非线性动力学在低维空间中线性化的最优特征映射。
• 提供一个评分函数（VAMP-$r$），用于量化从数据中推导出的马尔可夫模型的质量。
• 引入VAMP-E，一种兼容交叉验证的评分函数，用于超参数优化与模型选择。
• 将适用范围扩展至可逆与不可逆过程，以及平稳与非平稳系统。

提出的方法

• 该方法基于科波曼算子的谱分解，其中科波曼算子的主要奇异分量定义了用于线性马尔可夫近似的最优特征空间。
• VAMP-$r$被定义为基于科波曼算子奇异值的变分评分，可实现对特征映射和转移矩阵的优化。
• 该方法利用时间延迟相关性来从数据中估计科波曼算子的作用，避免了对完整动力学的显式知识。
• 通过时间延迟相关矩阵的截断奇异值分解（SVD）构建转移矩阵，确保对科波曼算子的低秩近似。
• VAMP-E从变分评分与近似误差之间的关系中推导得出，支持通过交叉验证进行模型选择。
• 该方法支持离散与连续状态空间，并通过经验期望估计处理非平稳过程。

实验结果

研究问题

• RQ1 能否建立一个变分原理，以学习能够将非线性马尔可夫过程从时间序列中线性化的最优特征映射？
• RQ2 如何以一种可支持模型选择与超参数调优的方式量化线性马尔可夫模型的质量？
• RQ3 科波曼算子的谱近似误差与用于模型优化的变分评分之间存在何种关系？
• RQ4 该框架能否扩展至不可逆与非平稳动力系统？
• RQ5 在预测精度与鲁棒性方面，VAMP-$r$评分相较于现有方法表现如何？

主要发现

• VAMP-$r$ 提供了一个一致的评分函数，通过测量特征空间中时间延迟可观测量之间的相关性，量化马尔可夫模型的质量。
• VAMP-$r$ 评分与科波曼算子的近似误差直接相关，从而支持有原则的模型优化。
• VAMP-E 通过估计模型的期望预测误差，实现了有效的交叉验证，用于超参数选择。
• 该方法在长期动力学预测中表现准确，如双涡流系统示例所示（累积误差指标误差≈0.015）。
• 该框架即使在存在噪声与非线性的情况下，也能成功从高维时间序列中学习低维马尔可夫模型。
• 该方法在多种系统中表现出鲁棒性，包括分子动力学、流体动力学和随机过程，且在可逆与不可逆动力学中均表现出色。