[论文解读] Rank distributions of words in additive many-step Markov chains and the Zipf law

K. E. Kechedzhy O.V. Usatenko, V. A. Yampol’skiı̆|ArXiv.org|Jun 22, 2004

Protein Structure and Dynamics参考文献 2被引用 6

一句话总结

本文提出了一种具有阶梯形记忆函数的解析可解二元多步马尔可夫链模型，用于研究随机符号系统中词语（L-词）的排名分布。结果表明，强烈的持久相关性导致排名分布呈现幂律包络，幂律指数接近于1，证实了当词语长度与相关长度相当或更短时的齐普夫定律。同时观察到在稀释操作下的自相似性。

ABSTRACT

The binary many-step Markov chain with the step-like memory function is considered as a model for the analysis of rank distributions of words in stochastic symbolic dynamical systems. We prove that the envelope curve for this distribution obeys the power law with the exponent of the order of unity in the case of rather strong persistent correlations. The Zipf law is shown to be valid for the rank distribution of words with lengths about and shorter than the correlation length in the Markov sequence. A self-similarity in the rank distribution with respect to the decimation procedure is observed.

研究动机与目标

• 研究随机符号系统中词语排名分布的齐普夫定律起源。
• 确定短程相关性是否足以在无长程依赖的情况下产生幂律排名分布。
• 分析词语长度L相对于相关长度在决定齐普夫定律的有效性与形状中的作用。
• 探索马尔可夫链模型中通过稀释程序实现的排名分布的自相似性特性。
• 阐明相关结构与词语频率排名中普遍幂律行为出现之间的相互作用。

提出的方法

• 建立具有阶梯形记忆函数的二元N步马尔可夫链模型，其中下一个符号的条件概率取决于前N个符号中1的个数。
• 将词语定义为长度为L的连续序列，并计算其出现频率以构建按频率降序排列的排名分布W(R)。
• 使用解析方法推导L ≤ N时排名分布的包络曲线，表明在强相关性下呈现幂律行为，幂次约为1。
• 对L > N的情况实施数值模拟，此时解析处理失效，以研究排名分布中阶梯状特征的模糊化现象。
• 通过随机移除符号实施稀释程序，以检验不同尺度下排名分布的自相似性。
• 将相关长度2lc + N与齐普夫斜率ζ达到最大值时的词语长度L关联起来，表明此时对幂律的拟合最优。

实验结果

研究问题

• RQ1 在多步马尔可夫链中，短程持久相关性是否能够产生符合齐普夫定律的排名分布？
• RQ2 词语长度L与马尔可夫链的相关长度之间存在何种关系，以决定齐普夫定律的有效性？
• RQ3 当词语长度L超过记忆长度N时，排名分布如何变化？导致阶梯状特征模糊化的机制是什么？
• RQ4 在稀释操作下，排名分布是否表现出自相似性？这反映了底层相关结构的何种特性？
• RQ5 在何种词语长度L下齐普夫定律得到最佳近似？这与系统的相关长度有何关联？

主要发现

• 当L ≤ N且相关性较强（μ > 0）时，排名分布的包络呈现幂律形式，幂次约为1，证实了齐普夫定律。
• 当L < N时，排名分布表现出阶梯状特征，随着L超过N而逐渐平滑，形成连续的幂律类似形态。
• 齐普夫图的斜率ζ在L ≈ Lcr > N处达到最大值，其中Lcr与有效相关长度2lc + N密切相关。
• 在稀释操作下观察到排名分布的自相似性，当L不过小时，稀释序列的排名分布与原始分布高度一致。
• 齐普夫定律的出现并非源于长程相关性，而是源于持久的短程相关性，前提是足够的噪声（涨落）掩盖了相关函数的具体形式。
• 当L ≫ N + 2lc时，相关性在词语长度范围内消失，排名分布趋于恒定，表明幂律行为丧失。