[论文解读] State Aggregation Learning from Markov Transition Data

Yaqi Duan, Zheng Tracy Ke+1 more|arXiv (Cornell University)|Nov 6, 2018

Bayesian Modeling and Causal Inference参考文献 36被引用 9

一句话总结

该论文提出了一种数据驱动的两步算法，通过谱分解和奇异向量的凸包逼近，从马尔可夫转移数据中学习概率性状态聚合。该方法引入了锚定状态以确保模型可识别性，并为估计聚合/分解分布以及识别锚定状态提供了精确的统计误差界，理论保证基于奇异向量的新型逐元素偏差界。

ABSTRACT

State aggregation is a popular model reduction method rooted in optimal control. It reduces the complexity of engineering systems by mapping the system's states into a small number of meta-states. The choice of aggregation map often depends on the data analysts' knowledge and is largely ad hoc. In this paper, we propose a tractable algorithm that estimates the probabilistic aggregation map from the system's trajectory. We adopt a soft-aggregation model, where each meta-state has a signature raw state, called an anchor state. This model includes several common state aggregation models as special cases. Our proposed method is a simple two-step algorithm: The first step is spectral decomposition of empirical transition matrix, and the second step conducts a linear transformation of singular vectors to find their approximate convex hull. It outputs the aggregation distributions and disaggregation distributions for each meta-state in explicit forms, which are not obtainable by classical spectral methods. On the theoretical side, we prove sharp error bounds for estimating the aggregation and disaggregation distributions and for identifying anchor states. The analysis relies on a new entry-wise deviation bound for singular vectors of the empirical transition matrix of a Markov process, which is of independent interest and cannot be deduced from existing literature. The application of our method to Manhattan traffic data successfully generates a data-driven state aggregation map with nice interpretations.

研究动机与目标

• 开发一种原则性、数据驱动的方法，用于学习状态聚合映射，而无需依赖领域特定知识或人工划分的分区。
• 通过引入类似于主题模型中锚定词的概念，提出锚定状态，以确保软状态聚合模型的可识别性。
• 从轨迹数据中显式估计聚合和分解分布，克服经典谱方法的局限性。
• 为估计精度和锚定状态恢复提供理论误差界，其依赖于状态空间大小、元状态数量和混合时间。
• 通过曼哈顿出租车行程数据的应用，展示其实际效用，生成可解释且有意义的元状态。

提出的方法

• 对经验转移矩阵进行谱分解，提取前 r 个左、右奇异向量。
• 对奇异向量应用一种新型线性变换，通过凸包逼近估计聚合和分解分布。
• 利用奇异向量的几何结构，将锚定状态识别为估计凸包的顶点。
• 将聚合和分解分布表述为变换后奇异向量的显式函数，从而实现直接估计。
• 利用经验转移矩阵奇异向量的新型逐元素偏差界，推导统计保证。
• 使用总变差距离作为度量，评估估计误差和锚定状态恢复的样本复杂度。

实验结果

研究问题

• RQ1 我们能否在缺乏元状态先验知识的情况下，从未知元状态的马尔可夫转移数据中学习概率性状态聚合映射？
• RQ2 在缺乏硬性分区的情况下，如何确保软状态聚合模型的可识别性？
• RQ3 从有限样本中估计聚合和分解分布的统计精度如何？
• RQ4 轨迹数量和状态空间大小如何影响估计误差和锚定状态恢复？
• RQ5 该方法能否在城市交通建模等实际应用中生成可解释且有意义的元状态？

主要发现

• 所提方法在估计聚合与分解分布时，总变差误差界为 O(√(p/n))，当锚定状态数量更多时，精度进一步提升。
• 奇异向量估计误差以 n^(-1/2) 的速率递减，与理论预测一致，并通过实验验证。
• 当轨迹数 n 足够大，相对于状态空间大小 p 和元状态数 r 时，该方法以高概率成功恢复所有锚定状态。
• 在曼哈顿出租车行程数据的应用中，估计的分解分布揭示了有意义的模式，例如从纽约宾州车站或 Ferry Waterway 出发或终止的行程具有较高概率。
• 与标准谱估计器相比，该方法在总变差误差方面表现更优，同时提供了可解释的聚合与分解分布。
• 经验转移矩阵奇异向量的逐元素偏差界是一项新贡献，使理论分析成为可能，且无法从现有文献中推导得出。