[论文解读] Persistent random walks, variable length Markov chains and piecewise deterministic Markov processes

Peggy Cénac, Brigitte Chauvin+2 more|arXiv (Cornell University)|Aug 16, 2012

Diffusion and Search Dynamics参考文献 20被引用 12

一句话总结

本文提出了一种广义的持续性随机游走，其中增量遵循具有无界记忆的可变长度马尔可夫链（VLMC），用于建模非马尔可夫动力学。在适当的缩放下，联合过程收敛到一个具有分段线性路径的连续时间半马尔可夫过程（PDMP），将积分化的麦克斯韦噪声收敛性推广至有限记忆模型之外。

ABSTRACT

A classical random walk $(S_t, t\\in\\mathbb{N})$ is defined by $S_t:=\\displaystyle\\sum_{n=0}^t X_n$, where $(X_n)$ are i.i.d. When the increments $(X_n)_{n\\in\\mathbb{N}}$ are a one-order Markov chain, a short memory is introduced in the dynamics of $(S_t)$. This so-called "persistent" random walk is nolonger Markovian and, under suitable conditions, the rescaled process converges towards the integrated telegraph noise (ITN) as the time-scale and space-scale parameters tend to zero (see Herrmann and Vallois, 2010; Tapiero-Vallois, Tapiero-Vallois2}). The ITN process is effectively non-Markovian too. The aim is to consider persistent random walks $(S_t)$ whose increments are Markov chains with variable order which can be infinite. This variable memory is enlighted by a one-to-one correspondence between $(X_n)$ and a suitable Variable Length Markov Chain (VLMC), since for a VLMC the dependency from the past can be unbounded. The key fact is to consider the non Markovian letter process $(X_n)$ as the margin of a couple $(X_n,M_n)_{n\\ge 0}$ where $(M_n)_{n\\ge 0}$ stands for the memory of the process $(X_n)$. We prove that, under a suitable rescaling, $(S_n,X_n,M_n)$ converges in distribution towards a time continuous process $(S^0(t),X(t),M(t))$. The process $(S^0(t))$ is a semi-Markov and Piecewise Deterministic Markov Process whose paths are piecewise linear.

研究动机与目标

• 将持续性随机游走从有限阶马尔可夫链扩展至包含无界记忆的可变长度马尔可夫链（VLMC）。
• 建立非马尔可夫增量过程与记忆过程（M_n）之间的一一对应关系，以实现联合缩放。
• 证明缩放后的三元组（S_n, X_n, M_n）弱收敛于具有分段线性样本路径的连续时间PDMP（S^0(t), X(t), M(t)）。
• 刻画无限上下文树上底层VLMC的不变测度，包括存在多个平稳分布的情况。

提出的方法

• 将增量过程（X_n）建模为定义在具有无限叶子的上下文树（如简单或双重无限梳状结构）上的VLMC（U_n）的边缘分布。
• 引入一个记忆过程（M_n），用于跟踪每个X_n相关的过去上下文，从而实现具有无界记忆的非马尔可夫依赖。
• 定义联合过程（S_n, X_n, M_n），其中S_n为X_n的累积和，并施加联合时空缩放以获得连续极限。
• 利用上下文树结构，通过上下文特定的伯努利分布（q_c）定义转移概率，确保VLMC在收敛条件下是良定义且平稳的。
• 通过验证有限维分布的收敛性及利用矩界证明紧致性，证明缩放过程弱收敛于PDMP。
• 利用无穷级数（Θ₁, Θ₂）刻画路径空间上的平稳测度，并在收敛条件下推导出π_a, π_{a,b}的显式公式。

实验结果

研究问题

• RQ1 能否通过VLMC构造具有无界记忆的持续性随机游走，并证明其收敛于连续时间过程？
• RQ2 上下文树和转移概率需满足何种条件，才能保证VLMC平稳测度的存在性？
• RQ3 （S_n, X_n, M_n）的联合缩放如何在极限下导出一个分段确定性马尔可夫过程（PDMP）？
• RQ4 在无限上下文树（如双重梳状结构）上，VLMC的不变测度具有何种结构？
• RQ5 在何种条件下，极限过程（S^0(t), X(t), M(t)）保持半马尔可夫和具有分段线性路径的PDMP性质？

主要发现

• 缩放后的过程（S_n, X_n, M_n）以概率1收敛于具有几乎必然分段线性路径的PDMP（S^0(t), X(t), M(t)）。
• 当级数Θ₁和Θ₂收敛时，在无限梳状结构上存在一个双参数平稳测度族π_{a,b}，满足π_{a,b}(0^∞) = a 且 π_{a,b}(1^∞) = b。
• 对于双重无限梳状结构，不变测度π_{a,b}显式给出为：π_{a,b}(0) = (aΘ₂ + (1−b)Θ₁)/(Θ₁+Θ₂) 且 π_{a,b}(10) = (1−a−b)/(Θ₁+Θ₂)。
• 若Θ₁和Θ₂发散，则唯一的平稳测度集中于无限路径0^∞和1^∞，且π(10) = 0。
• 当且仅当q_{0^∞}(0)或q_{1^∞}(1)之一等于1时，若对应级数收敛，则平稳测度唯一且分别支持于0^∞或1^∞。
• 极限过程（S^0(t), X(t), M(t)）是半马尔可夫过程，且为具有分段线性路径的PDMP，将积分化麦克斯韦噪声的收敛性推广至有限记忆模型之外。