[论文解读] Stationary distributions of continuous-time Markov chains: a review of theory and truncation-based approximations

Juan Kuntz, Philipp Thomas+2 more|arXiv (Cornell University)|Sep 12, 2019

Gene Regulatory Network Analysis参考文献 162被引用 4

一句话总结

本文综述了连续时间马尔可夫链（CTMC）中平稳分布的理论及其近似方法，重点讨论无限状态空间下的截断方法。文章提供了收敛性分析、误差界以及计算权衡，主要贡献包括基于李雅普诺夫函数的可计算误差界，以及一种用于事前误差估计的框架。

ABSTRACT

Computing the stationary distributions of a continuous-time Markov chain (CTMC) involves solving a set of linear equations. In most cases of interest, the number of equations is infinite or too large, and the equations cannot be solved analytically or numerically. Several approximation schemes overcome this issue by truncating the state space to a manageable size. In this review, we first give a comprehensive theoretical account of the stationary distributions and their relation to the long-term behaviour of CTMCs that is readily accessible to non-experts and free of irreducibility assumptions made in standard texts. We then review truncation-based approximation schemes for CTMCs with infinite state spaces paying particular attention to the schemes' convergence and the errors they introduce, and we illustrate their performance with an example of a stochastic reaction network of relevance in biology and chemistry. We conclude by discussing computational trade-offs associated with error control and several open questions.

研究动机与目标

• 在不假设不可约性的前提下，为非专家提供关于CTMC中平稳分布的全面且易于理解的综述，使高级理论更易于获取。
• 分析并比较具有无限状态空间的CTMC的基于截断的近似方法，重点关注收敛性与误差控制。
• 评估有限状态投影、截断与增强、线性规划等方法在近似平稳分布方面的性能。
• 研究实际实现中精度、截断大小与数值稳定性之间的计算权衡。
• 识别开放的理论问题，特别是关于事前误差预测以及近似方法中最佳参数选择的问题。

提出的方法

• 使用闭通信类与遍历分布，对平稳分布进行理论分析，不假设不可约性。
• 应用福斯特-李雅普诺夫准则，建立一般CTMC中平稳分布的存在性与唯一性。
• 采用基于截断的方法——如有限状态投影、截断与增强（TA）、迭代TA（ITA）以及水平依赖的QBD过程（LDQBDP）——在有限子集上近似平稳分布。
• 利用线性规划（LP）及其变体（ILP）计算近似值的总变差误差的可计算下界与上界。
• 提出基于李雅普诺夫函数的误差界，其在大截断时与实际误差成比例，从而提供更紧密且可靠的误差控制。
• 通过随机切换开关模型进行数值评估，比较不同方法在收敛性、误差行为与计算成本方面的表现。

实验结果

研究问题

• RQ1 在不假设不可约性的条件下，如何表征CTMC中的平稳分布？在何种条件下可保证其存在性与唯一性？
• RQ2 在何种条件下，基于截断的近似方法（如TA、ITA和LDQBDP）会收敛到真实的平稳分布？
• RQ3 如何为这些近似方法推导出可计算的误差界？能否在不依赖保守尾部界的前提下，使误差界更紧致且更可靠？
• RQ4 截断误差与实际近似误差之间存在何种关系？该关系能否用于事前误差控制？
• RQ5 如何选择自由参数（例如李雅普诺夫误差界中的β）以最小化误差界并提升近似质量？

主要发现

• 在CTMC中，平稳分布的集合恰好等于闭通信类上遍历分布的凸组合，即使在不假设不可约性时也成立。
• 在较弱条件下，基于截断的方法（如TA、ITA和LDQBDP）会收敛到真实的平稳分布，但收敛性取决于重入矩阵与截断结构的选择。
• 针对TA方法的基于李雅普诺夫函数的误差界在大截断时与实际误差成比例，显著优于保守的尾部分布估计。
• 对于大截断，ITA与ILP下界误差与尾部分布相等，而上界与截断误差成比例，表明存在事前误差估计的潜力。
• 由于截断速率矩阵的条件数过大导致的数值不稳定性是主要挑战，可通过缩放或高精度算术加以缓解。
• ILP方法提供了一种自动检测平稳分布唯一性的测试：若任意状态的下界非零，则至多存在一个平稳分布。