[论文解读] Zipf and non-Zipf Laws for Homogeneous Markov Chain

V. V. Bochkarev, É. Yu. Lerner|arXiv (Cornell University)|Jul 8, 2012

Complex Network Analysis Techniques参考文献 10被引用 7

一句话总结

本文分析具有吸收态的同质马尔可夫链中的秩-频率分布，表明词的概率依存于转移矩阵结构，可能呈现幂律或指数衰减。文中从转移矩阵和初始分布推导出幂律的指数，并建立了指数衰减的充要条件，将经典的‘猴子打字’模型推广至马尔可夫依赖符号序列。

ABSTRACT

Let us consider a homogeneous Markov chain with discrete time and with a finite set of states $E_0,\ldots,E_n$ such that the state $E_0$ is absorbing, states $E_1,\ldots,E_n$ are nonrecurrent. The goal of this work is to study frequencies of trajectories in this chain, i.e., "words" composed of symbols $E_1,\ldots,E_n$ ending with the "space" $E_0$. Let us order words according to their probabilities; denote by $p(t)$ the probability of the $t$th word in this list. In this paper we prove that in a typical case the asymptotics of the function $p(t)$ has a power character, and define its exponent from the matrix of transition probabilities. If this matrix is block-diagonal, then with some specific values of transition probabilities the power asymptotics gets (logarithmic) addends. But if this matrix is rather sparse, then probabilities quickly decrease; namely, the rate of asymptotics is greater than that of the power one, but not greater than that of the exponential one. We also establish necessary and sufficient conditions for the exponential order of decrease and obtain a formula for determining the exponent from the transition probability matrix and the initial distribution vector.

研究动机与目标

• 分析有限状态、时间同质的马尔可夫链中轨迹（词）的秩-频率分布，该链具有一个吸收态。
• 确定在何种条件下，第 t 个最常见词的概率 p(t) 呈现幂律或指数衰减。
• 基于转移概率矩阵和初始分布，推导幂律渐近行为的显式公式。
• 建立词概率在排序列表中呈指数衰减的必要与充分条件。
• 通过引入符号间的马尔可夫依赖，将经典的‘猴子打字’模型推广。

提出的方法

• 将词生成过程建模为具有状态 E₁,…,En（非递归）和 E₀（吸收态，表示空格）的同质马尔可夫链。
• 定义 p(t) 为第 t 个最可能的词（终止于 E₀ 的轨迹）的概率，按概率递减排序。
• 使用非吸收态之间转移概率的子矩阵 P 来分析 p(t) 的渐近行为。
• 通过其凝聚图 G′ 分析马尔可夫链的图结构，重点关注强连通分量和环。
• 利用词计数和环插入的组合界，结合环概率的指数衰减速率，推导 p(t) 的上下界。
• 证明当矩阵稀疏时，p(t) = O(α^(√ⁿᵗ))，当存在多个环时，p(t) = Ω(δ^√(2t))，从而导致指数衰减。

实验结果

研究问题

• RQ1 在何种转移矩阵条件下，马尔可夫链中轨迹的秩-频率分布呈现幂律？
• RQ2 幂律衰减的指数如何依赖于转移概率矩阵和初始分布？
• RQ3 在何种情况下，p(t) 的衰减变为指数衰减而非幂律？
• RQ4 马尔可夫链转移图的何种结构特性（如环结构、稀疏性）决定了 p(t) 的渐近行为？
• RQ5 能否通过凝聚图和环概率精确刻画 p(t) 的渐近行为？

主要发现

• 在典型情况下，第 t 个最常见词的概率 p(t) 呈幂律衰减，其指数由转移矩阵的谱性质决定。
• 若转移矩阵为具有特定转移概率的分块对角矩阵，则幂律渐近行为会引入对数修正项。
• 当转移矩阵稀疏且缺乏足够环结构时，p(t) 的衰减快于任意幂律，但慢于指数衰减。
• 当且仅当底层图包含至少两个可顺序遍历的环时，p(t) 的衰减为指数衰减，且衰减速率由最小环概率决定。
• p(t) 的渐近行为由关系式 t − ln(1/p(t))/ν′ 有界来刻画，其中 ν′ 由环概率及其重数推导得出。
• 概率超过 p′ 的词的数量渐近为 Q(p′) ≈ (1/ν′) × (−ln p′) × ∑_{c∈C} k(c)/ln(Pr̃(c))，显示出对 p′ 的精确对数依赖关系。