[论文解读] Variable length Markov chains and dynamical sources

Peggy Cénac, Brigitte Chauvin+2 more|arXiv (Cornell University)|Jul 18, 2010

Algorithms and Data Compression参考文献 26被引用 13

一句话总结

本文通过构建从单位区间到符号序列的可测映射，建立了一个严格的概率框架，将可变长度马尔可夫链（VLMC）与概率动力系统源联系起来，证明了任意VLMC均可作为动力系统源出现。文章利用狄利克雷级数和生成函数，为两种典型VLMC模型——无限梳状结构与竹花结构——提供了平稳测度存在性与唯一性的必要且充分条件。

ABSTRACT

Infinite random sequences of letters can be viewed as stochastic chains or as strings produced by a source, in the sense of information theory. The relationship between Variable Length Markov Chains (VLMC) and probabilistic dynamical sources is studied. We establish a probabilistic frame for context trees and VLMC and we prove that any VLMC is a dynamical source for which we explicitly build the mapping. On two examples, the ``comb'' and the ``bamboo blossom'', we find a necessary and sufficient condition for the existence and the unicity of a stationary probability measure for the VLMC. These two examples are detailed in order to provide the associated Dirichlet series as well as the generating functions of word occurrences.

研究动机与目标

• 通过从单位区间到符号序列的可测变换，形式化VLMC与概率动力系统源之间的联系。
• 为VLMC建立平稳概率测度存在性与唯一性的必要且充分条件，尤其针对具有无限记忆的非马尔可夫模型。
• 利用生成函数与狄利克雷级数分析VLMC生成序列中的词出现统计特性。
• 将关于数据结构（如tries）中混合性与随机过程的结果扩展至VLMC驱动的源，特别是在缺乏谱间隙的情况下。

提出的方法

• 通过基于上下文树构造的有序划分，在单位区间上定义可测映射 $ T $，构建概率动力系统源。
• 使用上下文树，其中叶节点代表记忆上下文，并为每个上下文 $ c $ 分配转移概率 $ q_c(\alpha) $。
• 应用划分原理（公式3）与不交并分解，推导平稳测度的线性系统。
• 利用狄利克雷级数与生成函数，计算VLMC生成序列中词出现的精确分布。
• 通过涉及最小上下文概率的线性方程组分析平稳测度，不可约性条件确保唯一性。
• 应用谱与混合性假设，将关于tries参数的结果扩展至VLMC源，尤其在非混合或无谱间隙的场景下。

实验结果

研究问题

• RQ1 在何种条件下，VLMC会存在唯一的平稳概率测度？
• RQ2 如何通过单位区间上的可测变换，将VLMC表示为概率动力系统源？
• RQ3 VLMC生成序列中词出现的精确分布是什么？如何利用生成函数计算该分布？
• RQ4 狄利克雷级数如何与VLMC的平稳测度相关联，特别是在无限梳状结构与竹花结构模型中？
• RQ5 关于动力系统源的tries参数结果能否推广至VLMC驱动的序列，尤其在缺乏谱间隙的情况下？

主要发现

• 任何VLMC均等价于一个概率动力系统源，其中可测映射 $ T $ 通过上下文树与转移概率显式构造。
• 对于无限梳状结构模型，当且仅当 $ q_{0^{n+1}}(1)S_n + q_{0^n1}(0)c_n \neq 0 $ 时存在且唯一平稳测度，其中 $ S_n $ 与 $ c_n $ 由乘积与求和公式定义。
• 对于竹花结构模型，当无转移概率为平凡值时，平稳测度存在且唯一，条件为 $ q_{00}(1)[1 + q_1(0)] + q_1(0)^2 q_{010}(0) + q_1(0)q_1(1)q_{011}(0) \neq 0 $。
• 通过上下文树的递归结构与线性系统，推导出梳状结构模型中词出现精确分布的生成函数。
• 对梳状结构与竹花结构模型，显式计算了关联的狄利克雷级数，并将其与平稳测度及词出现统计特性联系起来。
• 本文猜想基于最小上下文的不可约性条件可推广至所有VLMC，暗示存在适用于平稳测度存在的通用判据。