[论文解读] The Distributions in Nature and Entropy Principle

Oded Kafri|ArXiv.org|Jul 28, 2009

Benford’s Law and Fraud Detection参考文献 7被引用 5

一句话总结

本文提出，最大熵原理自然地导致统计系统中出现钟形分布和长尾分布。通过在熵最大化条件下对分布在盒子中的粒子进行建模，推导出能准确重现齐夫定律、帕累托20:80法则和本福德定律的长尾分布，表明这些经验性的幂律分布源于基本的热力学原理。

ABSTRACT

The derivation of the maximum entropy distribution of particles in boxes yields two kinds of distributions: a "bell-like" distribution and a long-tail distribution. The first one is obtained when the ratio between particles and boxes is low, and the second one - when the ratio is high. The obtained long tail distribution yields correctly the empirical Zipf law, Pareto's 20:80 rule and Benford's law. Therefore, it is concluded that the long tail and the "bell-like" distributions are outcomes of the tendency of statistical systems to maximize entropy.

研究动机与目标

• 探究自然界中经验性幂律分布（如齐夫定律和本福德定律）的起源。
• 确定这些分布是否源于诸如熵最大化这样的基本物理原理。
• 分析在统计系统中不同分布形态（钟形与长尾）出现的条件。
• 建立一个统一框架，将熵最大化与自然界中观察到的宏观统计模式联系起来。

提出的方法

• 该研究将不可区分粒子分布在离散盒子中的系统建模为一个受限的组合问题。
• 应用最大熵原理，在总粒子数和盒子数固定的条件下，推导出粒子在盒子间最可能的分布。
• 分析区分两种情形：粒子与盒子比例较低（产生钟形分布）和比例较高（产生长尾分布）。
• 对长尾分布进行解析推导，并表明其与齐夫定律和本福德定律的函数形式一致。
• 推导过程使用组合计数和渐近分析，识别出主导的分布构型。
• 通过将推导出的分布与经验数据模式（包括20:80法则和对数位频次）进行比较，验证了结果。

实验结果

研究问题

• RQ1 最大熵原理能否解释自然和社会现象中观察到的长尾分布的出现？
• RQ2 在粒子-盒子系统中，何种条件导致钟形分布与长尾分布的出现？
• RQ3 熵最大化分布是否能重现齐夫定律和本福德定律等经验规律？
• RQ4 粒子与盒子的比例如何影响最终分布的形状？
• RQ5 自然界中普遍存在的统计模式能否从单一基本物理原理（如熵最大化）推导而出？

主要发现

• 当粒子与盒子的比例较低时，最大熵原理产生钟形分布，对应于集中且对称的分布形态。
• 当粒子与盒子的比例较高时，熵最大化分布变为长尾分布，与经验数据中观察到的幂律形式一致。
• 推导出的长尾分布能准确重现齐夫定律，其秩-频率关系遵循1/r的幂律。
• 同一分布可解释帕累托的20:80法则，表明少量盒子包含大量粒子。
• 该模型还能重现本福德定律，预测自然数据集中首位数的对数分布。
• 结果表明，自然界中幂律分布和对数分布的普遍性，是统计系统中熵最大化所致。