[论文解读] Spectral State Compression of Markov Processes

Anru R. Zhang, Mengdi Wang|arXiv (Cornell University)|Feb 8, 2018

Fault Detection and Control Systems参考文献 63被引用 3

一句话总结

本文提出了一种基于低秩逼近的谱方法，用于有限状态马尔可夫链的状态压缩，利用谱分解来估计主导特征子空间并恢复潜在结构（如状态聚合或可 lumpable 划分）。该方法在有限样本条件下，为转移矩阵估计和子空间恢复建立了极小极大最优的统计保证。

ABSTRACT

Model reduction of Markov processes is a basic problem in modeling state-transition systems. Motivated by the state aggregation approach rooted in control theory, we study the statistical state compression of a discrete-state Markov chain from empirical trajectories. Through the lens of spectral decomposition, we study the rank and features of Markov processes, as well as properties like representability, aggregability, and lumpability. We develop spectral methods for estimating the transition matrix of a low-rank Markov model, estimating the leading subspace spanned by Markov features, and recovering latent structures like state aggregation and lumpable partition of the state space. We prove statistical upper bounds for the estimation errors and nearly matching minimax lower bounds. Numerical studies are performed on synthetic data and a dataset of New York City taxi trips.

研究动机与目标

• 开发一种无监督、数据驱动的方法，利用谱分解对大规模离散状态马尔可夫链进行压缩。
• 从未知元状态或划分的先验知识出发，从经验轨迹中估计转移核的低秩结构。
• 在有限样本设置下，为转移矩阵估计和子空间恢复提供精确的统计保证——上下界。
• 以统计置信度恢复潜在结构，如状态聚合与可 lumpable 划分。
• 通过马尔可夫过程的谱分析，统一可聚合性、可 lumpability 性与低秩分解的概念。

提出的方法

• 该方法利用转移矩阵的谱分解，将其表示为一系列秩一成分的和：$\mathbb{P}(X_{t+1}|X_t) \approx \sum_{k=1}^r f_k(X_t)g_k(X_{t+1})$，其中 $f_k$ 和 $g_k$ 为特征函数。
• 通过轨迹的经验协方差估计，估计转移矩阵主导左右奇异向量张成的前 $r$ 维子空间。
• 对经验转移矩阵应用谱截断过程，以获得低秩逼近，最小化总变差误差。
• 该方法结合混合时间与平稳分布假设，以控制估计偏差与方差。
• 利用 Freedman 不等式推导经验特征矩阵估计误差的高概率集中界。
• 理论分析将谱性质与可聚合性、可 lumpability 等结构概念联系起来，从而实现潜在划分的恢复。

实验结果

研究问题

• RQ1 我们能否从有限长度轨迹中，以精确的统计误差界估计马尔可夫转移矩阵的低秩结构？
• RQ2 当真实秩未知时，谱方法在估计马尔可夫过程主导特征子空间方面表现如何？
• RQ3 从经验数据估计低秩马尔可夫模型的极小极大最优速率是多少？
• RQ4 在何种条件下，谱方法能以统计置信度恢复状态聚合或可 lumpable 划分？
• RQ5 谱分解与奇异向量估计如何与马尔可夫链中的可聚合性与可 lumpability 概念相关联？

主要发现

• 所提出的谱方法在高概率下实现了总变差误差的上界为 $O\left(\sqrt{\frac{\pi_{\max} \delta^2 r \tau_* \log^2 n}{np}}\right)$，用于转移矩阵估计。
• 建立了近乎匹配的极小极大下界，证实了在给定模型假设下，该方法具有统计最优性。
• 对于一般马尔可夫链，该方法以高概率将主导马尔可夫特征子空间的误差控制在 $O\left(\sqrt{\frac{\pi_{\max} \delta^2 r \tau_* \log^2 n}{np}}\right)$ 以内。
• 在可聚合或可 lumpable 过程的情况下，该方法可实现对底层状态划分的统计一致性恢复。
• 理论结果在合成数据和纽约市真实出租车行程轨迹上得到数值验证，展示了准确的低秩逼近与结构恢复能力。
• 该方法在估计误差上达到极小极大最优性，证实了在相同假设下，不存在其他方法能在有限样本下获得更优性能。