[论文解读] On the rate of convergence to equilibrium for countable ergodic Markov chains

Stefano Isola|ArXiv.org|Aug 4, 2003

Markov Chains and Monte Carlo Methods被引用 3

一句话总结

该论文利用基本的生成函数技巧，为可数遍历马尔可夫链建立了阶为 $ n^{-d} $ 的次几何收敛速率，其中 $ d > 0 $ 为遍历度。该研究将收敛行为与 $ \ell_1 $ 空间上马尔可夫算子的谱性质联系起来，并通过生成函数的解析性质提供显式渐近展开，以更新过程模型为例进行说明，在 $ \alpha_i \sim 1 - (1+\eta)/i $ 条件下实现精确的 $ n^{-(\eta-1)} $ 衰减。

ABSTRACT

Using elementary methods, we prove that for a countable Markov chain $P$ of ergodic degree $d > 0$ the rate of convergence towards the stationary distribution is subgeometric of order $n^{-d}$, provided the initial distribution satisfies certain conditions of asymptotic decay. An example, modelling a renewal process and providing a markovian approximation scheme in dynamical system theory, is worked out in detail, illustrating the relationships between convergence behaviour, analytic properties of the generating functions associated to transition probabilities and spectral properties of the Markov operator $P$ on the Banach space $\ell_1$. Explicit conditions allowing to obtain the actual asymptotics for the rate of convergence are also discussed.

研究动机与目标

• 为可数遍历马尔可夫链向其平稳分布的收敛速率建立精确的次几何收敛速率。
• 将收敛速率与通过首次通过时间矩定义的遍历度 $ d $ 联系起来。
• 将收敛行为与生成函数的解析性质以及 $ \ell_1 $ 上马尔可夫算子的谱性质联系起来。
• 在初始分布满足适当衰减条件时，提供收敛速率的显式渐近界。
• 通过详细建模更新过程及其在动力系统中通过马尔可夫近似的关系，说明理论应用。

提出的方法

• 使用基本的生成函数技巧，推导收敛速率的下界与上界。
• 将遍历度 $ d $ 定义为连续参数，控制首次通过时间矩的有限阶数。
• 分析在巴拿赫空间 $ \ell_1 $ 上的马尔可夫算子 $ P $，将其谱性质与收敛衰减速率联系起来。
• 在详细示例中应用矩阵值解析函数，以改进一般界并获得更精确的渐近行为。
• 使用禁忌概率 $ f^n_{ij} $ 和更新类型量 $ {}_k p^n_{ij} $ 来刻画返回与首次通过行为。
• 建立不变测度 $ \pi $、$ L^1 $ 中的函数 $ h $ 与动力系统示例中 $ f $-不变测度密度之间的对应关系。

实验结果

研究问题

• RQ1 对于一个可数遍历马尔可夫链，其向平衡态的精确收敛速率是多少？该速率如何依赖于遍历度 $ d $？
• RQ2 与转移概率相关的生成函数的解析性质，如何与 $ \ell_1 $ 上马尔可夫算子的谱结构相关联？
• RQ3 在转移概率具有额外正则性条件时，一般收敛界是否可以进一步收紧？
• RQ4 在更新过程背景下，收敛速率与首次通过时间分布之间有何关系？
• RQ5 在动力系统示例中，测试函数的抵消效应在多大程度上可加速或减缓收敛速率？

主要发现

• 对于具有遍历度 $ d > 0 $ 的可数遍历马尔可夫链，若初始分布满足适当的衰减条件，则其向平稳分布的收敛为阶 $ n^{-d} $ 的次几何速率。
• 收敛速率 $ n^{-d} $ 是精确的，且可通过基本生成函数方法推导，无需使用耦合或高级概率工具。
• 在更新过程示例中，当 $ \alpha_i \sim 1 - (1+\eta)/i $ 且 $ \eta > 1 $ 时，相关性衰减为 $ O(n^{-(\eta-1)}) $，且在测试函数非退化条件下该速率渐近精确。
• 收敛速率 $ n^{-(\eta-1)} $ 与进入 0 附近小邻域的首次进入时间的尾部行为一致，表明该速率本质上受遍历统计的限制。
• 若测试函数 $ u $ 和 $ v $ 满足 $ \rho(u) \neq u_\infty $ 且 $ \rho(v) \neq v_\infty $，则相关性衰减渐近为 $ C n^{-(\eta-1)} $，证实了边界的精确性。
• 测试函数中的抵消效应（如常数函数）可使收敛速率超过 $ n^{-(\eta-1)} $，表明该边界并非普遍成立，而是依赖于函数的行为。