[论文解读] Universality of Zipf's Law

Bernat Corominas Murtra, Ricard V. Solé|arXiv (Cornell University)|Jan 15, 2010

Opinion Dynamics and Social Influence被引用 4

一句话总结

本文通过算法信息论建模系统，提出了一种无需机制的Zipf定律普遍性解释，表明当随机系统的符号序列熵在有序与无序之间达到平衡时，Zipf定律作为唯一解自然涌现。关键结果是，在关于系统复杂性和信息含量的温和且物理上合理的假设下，幂律分布的指数≈1是不可避免的。

ABSTRACT

Zipf's law is the most common statistical distribution displaying scaling behavior. Cities, populations or firms are just examples of this seemingly universal law. Although many different models have been proposed, no general theoretical explanation has been shown to exist for its universality. Here we show that Zipf's law is, in fact, an inevitable outcome of a very general class of stochastic systems. Borrowing concepts from Algorithmic Information Theory, our derivation is based on the properties of the symbolic sequence obtained through successive observations over a system with an unbounded number of possible states. Specifically, we assume that the complexity of the description of the system provided by the sequence of observations is the one expected for a system evolving to a stable state between order and disorder. This result is obtained from a small set of mild, physically relevant assumptions. The general nature of our derivation and its model-free basis would explain the ubiquity of such a law in real systems.

研究动机与目标

• 解释为何Zipf定律在城市规模、词频和企业分布等不同系统中普遍存在。
• 识别在随机系统中使Zipf定律不可避免的通用、无机制条件。
• 从算法信息论和熵行为的基本原理推导出Zipf定律的出现。
• 表明当系统复杂性在有序与无序之间达到平衡时，幂律指数γ ≈ 1是唯一解。

提出的方法

• 将系统观测序列建模为符号字符串，表示其状态演化。
• 应用柯尔莫哥洛夫复杂度来量化符号序列的算法信息含量。
• 使用归一化熵h(n, γ) = H(n, γ)/log n分析系统规模n增大时的标度行为。
• 推导不同幂律指数（γ < 1，γ = 1，γ > 1）下的熵渐近解。
• 证明仅当γ = 1时，归一化熵h(n, γ)收敛于1，表明在无主导性下达到最大复杂度。
• 利用黎曼ζ函数及级数收敛性性质，证明当γ > 1时熵有界，当γ < 1时发散。

实验结果

研究问题

• RQ1 为何具有指数≈1的Zipf定律在无关的自然与社会系统中如此普遍地出现？
• RQ2 能否从信息论原理出发，推导出Zipf定律的普遍且无机制的解释？
• RQ3 算法复杂性在决定随机系统标度行为中扮演何种角色？
• RQ4 在何种条件下，系统状态序列的归一化熵收敛于1，表明Zipf标度？
• RQ5 为何指数γ = 1在不同系统中具有唯一稳定性与鲁棒性？

主要发现

• 仅当幂律指数恰好为γ = 1时，归一化熵h(n, γ)收敛于1，表明有序与无序之间存在唯一平衡。
• 当幂律指数γ > 1时，归一化熵h(n, γ)趋于0，表明复杂度受限制且由大尺度结构主导。
• 当幂律指数γ < 1时，归一化熵h(n, γ)发散，表明复杂度无界且缺乏稳定标度。
• 当γ = 1时，熵H(n, γ)随系统规模n对数增长，与Zipf定律的出现一致。
• 该结果在温和且物理相关的假设下成立：状态空间无界、演化为随机过程，且复杂性平衡有序与无序。
• 推导过程完全无模型依赖，仅基于算法信息论，解释了Zipf定律在不同系统中表现出的鲁棒性与普遍性。