[论文解读] Understanding Zipf's law with playing dice: history-dependent stochastic processes with collapsing sample-space have power-law rank distributions

Bernat Corominas‐Murtra, Rudolf Hanel+1 more|arXiv (Cornell University)|Jul 10, 2014

Opinion Dynamics and Social Influence被引用 3

一句话总结

本文提出，具有样本空间坍缩（SSR过程）的历史依赖随机过程可自然生成结果排名分布中的齐夫定律。通过向SSR过程中引入噪声，作者表明幂律标度以精确的指数λ出现，其中λ直接反映样本空间缩减的程度，从而为复杂系统中的标度现象提供了无需依赖优先连接或自组织的机制解释。

ABSTRACT

History-dependent processes are ubiquitous in natural and social systems. Many such stochastic processes, especially those that are associated with complex systems, become more constrained as they unfold, meaning that their sample-space, or their set of possible outcomes, reduces as they age. We demonstrate that these sample-space reducing (SSR) processes necessarily lead to Zipf's law in the rank distributions of their outcomes. We show that by adding noise to SSR processes the corresponding rank distributions remain exact power-laws, $p(x)\sim x^{-\lambda}$, where the exponent directly corresponds to the mixing ratio of the SSR process and noise. This allows us to give a precise meaning to the scaling exponent in terms of the degree to how much a given process reduces its sample-space as it unfolds. Noisy SSR processes further allow us to explain a wide range of scaling exponents in frequency distributions ranging from $\alpha = 2$ to $\infty$. We discuss several applications showing how SSR processes can be used to understand Zipf's law in word frequencies, and how they are related to diffusion processes in directed networks, or ageing processes such as in fragmentation processes. SSR processes provide a new alternative to understand the origin of scaling in complex systems without the recourse to multiplicative, preferential, or self-organised critical processes.

研究动机与目标

• 解释复杂系统中幂律排名分布（如齐夫定律）的起源，且不依赖乘法过程或优先连接机制。
• 证明具有缩小样本空间的历史依赖随机过程（SSR过程）本身可产生幂律排名分布。
• 研究向SSR过程中添加噪声后，是否能保持精确的幂律标度，并控制标度指数λ。
• 建立标度指数λ与过程演化过程中样本空间缩减程度之间的定量关联。
• 将SSR框架应用于现实世界现象，如词频、网络扩散及碎裂过程。

提出的方法

• 建模一种随机过程，其中可能结果的集合（样本空间）随时间减少，从而定义历史依赖的SSR过程。
• 从SSR过程中推导出结果的精确排名分布，表明其服从幂律p(x) ∼ x−λ。
• 引入一个噪声分量，以随机间隔在时间上随机重置或扩展样本空间，形成噪声SSR过程。
• 通过解析推导噪声SSR过程下的结果排名分布，证明其仍为幂律，且指数λ由噪声与SSR动态的混合比例决定。
• 利用噪声-SSR混合比例控制标度指数λ，从而实现从2到∞的连续指数范围。
• 将模型应用于实证数据（如词频和网络扩散）以验证该框架的解释力。

实验结果

研究问题

• RQ1 仅靠样本空间缩减过程能否在排名分布中生成齐夫定律？
• RQ2 添加噪声如何影响SSR过程中幂律标度的特性？
• RQ3 SSR过程中标度指数λ与样本空间缩减程度之间存在何种定量关系？
• RQ4 SSR框架能否解释现实世界频率分布中观测到的广泛标度指数？
• RQ5 SSR过程与已知现象（如词频分布和有向网络中的扩散）有何关联？

主要发现

• SSR过程本身可产生精确的幂律排名分布，其中p(x) ∼ x−λ，λ由样本空间缩减速率决定。
• 向SSR过程中添加噪声后，仍保持精确的幂律形式，且指数λ由噪声与SSR动态的混合比例直接控制。
• 该框架可解释从λ = 2到λ = ∞的标度指数，涵盖广泛的实证观察结果。
• 该模型通过建模语言生成过程中可用词汇的序列性缩减，为词频中的齐夫定律提供了机制解释。
• SSR过程被证明等价于有向网络上的扩散过程，将排名分布与网络结构及动力学联系起来。
• 该框架为复杂系统中的标度现象提供了一种非乘法的替代机制，避免了对优先连接或自组织临界性的假设。