[论文解读] The stationary distribution of a Markov jump process on a state space glued together from two state spaces at two vertices

Bence Mélykúti, Peter Pfaffelhuber|arXiv (Cornell University)|Jan 24, 2014

Markov Chains and Monte Carlo Methods被引用 3

一句话总结

本文推导了通过在两个共享状态上将两个不可约连续时间马尔可夫链粘合而成的连续时间马尔可夫跳跃过程的平稳分布，通过将共享状态之间的转移速率相加来组合其转移速率。主要贡献在于提出了一个显式公式，用原始链的平稳分布以及线性系统的解来表达粘合链的平稳分布，区分了并行与非并行情形下的不同行为，包括对后者的界限。

ABSTRACT

We compute the stationary distribution of a continuous-time Markov chain on a finite state space which is constructed by gluing together two irreducible, continuous-time Markov chains by identifying a pair of states of one chain with a pair of states of the other chain and keeping all transition rates from either chain (the rates between the two shared states are summed). The result expresses the stationary distribution of the glued chain in terms of quantities of the two original chains. Some of the required terms are nonstandard but can be computed by solving systems of linear equations using the transition rate matrices of the two original chains. Special emphasis is given to the difference between the parallel case, when the stationary distribution of the glued chain is a multiple of the equilibria of the original chains, and the non-parallel case, for which bounds are derived.

研究动机与目标

• 推导通过在两个共享状态上粘合两个不可约连续时间马尔可夫链而构造的连续时间马尔可夫链的平稳分布。
• 用原始链的平稳分布和转移速率矩阵来表达粘合链的平稳分布。
• 分析并行情形（平稳分布为原始平衡的倍数）与非并行情形（由于速率不对称性需引入界限）之间的结构性差异。

提出的方法

• 通过将两个不可约连续时间马尔可夫链中的各一个状态识别为同一状态来构建粘合链，共享状态之间的转移速率被相加。
• 利用细致平衡条件和粘合状态空间的结构推导平稳分布。
• 公式中的非标准项通过求解源自原始链速率矩阵的线性系统来计算。
• 该方法区分了并行情形（平稳分布与原始平衡成比例）与非并行情形（出现额外约束）。
• 对于非并行情形，利用原始链的速率矩阵及其线性系统解的性质，推导出平稳分布的界限。

实验结果

研究问题

• RQ1 当两个链在状态上被识别时，粘合马尔可夫链的平稳分布与各组成部分链的平稳分布之间有何关系？
• RQ2 在何种条件下，粘合链的平稳分布为原始链平衡的简单倍数（即并行情形）？
• RQ3 在速率不对称性导致无法直接成比例的情况下，如何计算非并行情形下的平稳分布？
• RQ4 在非并行情形下，可以建立哪些关于平稳分布的界限？这些界限如何依赖于原始链的速率矩阵？

主要发现

• 粘合链的平稳分布可表示为原始链平稳分布以及其速率矩阵所导出线性系统的解的函数。
• 在并行情形下，粘合链的平稳分布是原始链平衡的标量倍数，从而简化了计算。
• 在非并行情形下，平稳分布无法直接从原始平衡推断，需通过求解额外的线性系统来确定非标准项。
• 非并行情形下平稳分布的界限基于原始链速率矩阵的谱性质和结构推导得出。
• 该方法即使在粘合链不可逆的情况下，也能实现平稳分布的精确计算，通过利用原始链的不可约性及其速率矩阵结构。