[论文解读] State Compression of Markov Processes via Empirical Low-Rank Estimation.

Anru R. Zhang, Mengdi Wang|arXiv (Cornell University)|Feb 8, 2018

Sparse and Compressive Sensing Techniques参考文献 30被引用 4

一句话总结

本文提出了一种谱方法，用于在经验低秩估计的基础上压缩有限状态马尔可夫过程，以恢复压缩后的状态空间及潜在的状态聚合结构。通过估计误差和恢复误差的上界，以及匹配的极小极大下界，建立了理论保证，证明了该方法在低秩假设下的状态压缩最优性。

ABSTRACT

Model reduction is a central problem in analyzing complex systems and high-dimensional data. We study the state compression of finite-state Markov process from its empirical trajectories. We adopt a low-rank model which is motivated by the state aggregation of controlled systems. A spectral method is proposed for estimating the frequency and transition matrices, estimating the compressed state spaces, and recovering the state aggregation structure if there is any. We provide upper bounds for the estimation and recovery errors and matching minimax lower bounds.

研究动机与目标

• 为解决将高维马尔可夫过程简化为低维表示以实现高效分析的挑战。
• 从马尔可夫过程的实证轨迹中估计频率矩阵和转移矩阵。
• 在系统中存在潜在状态聚合结构时，识别并恢复该结构。
• 为压缩状态空间的估计与恢复提供理论误差界。
• 通过匹配的下界建立所提方法的极小极大最优性。

提出的方法

• 开发了一种谱方法，用于从马尔可夫过程的实证轨迹中估计转移矩阵和频率矩阵。
• 对估计的频率矩阵和转移矩阵应用低秩矩阵逼近，以识别压缩后的状态空间。
• 该方法利用谱分解提取对应于压缩状态的主导子空间。
• 通过基于低秩分量与聚合状态对齐程度的聚类，恢复状态聚合结构。
• 理论分析使用矩阵集中不等式，推导出估计误差和恢复误差的上界。
• 推导出极小极大下界，以确立在低秩模型下状态压缩的根本极限。

实验结果

研究问题

• RQ1 能否利用有限状态马尔可夫过程的实证轨迹准确估计其潜在的转移矩阵和频率矩阵？
• RQ2 在保留基本动态的前提下，马尔可夫过程的状态空间能在多大程度上被压缩？
• RQ3 在何种条件下，可从实证数据中恢复真实的态聚合结构？
• RQ4 在低秩假设下，估计误差与恢复误差如何随样本量和系统维度变化？
• RQ5 所提方法在状态压缩的误差界方面是否达到极小极大最优？

主要发现

• 在低秩假设下，所提谱方法对频率矩阵和转移矩阵的估计误差率达到最优。
• 当底层系统表现出低秩结构时，真实状态聚合结构的恢复是可能的。
• 推导出估计误差与恢复误差的上界，并证明其在对数因子范围内紧致。
• 建立了匹配的极小极大下界，确认了该方法的理论最优性。
• 即使在真实聚合结构事先未知的情况下，该方法仍能有效识别压缩后的状态表示。
• 在实证轨迹与底层马尔可夫过程满足温和正则性条件时，理论保证依然成立。