[论文解读] Scaling Laws in Human Language

Linyuan Lü, Zi‐Ke Zhang+1 more|arXiv (Cornell University)|Feb 14, 2012

Authorship Attribution and Profiling参考文献 1被引用 34

一句话总结

本文提出一种有限词汇量模型，用以解释为何中文、日文和韩文字符的频率分布偏离标准形式的齐夫定律，转而呈现齐夫图中的指数衰减，这是由于频率分布呈幂律分布且指数接近1所致。该模型解释了独特字符数量的三阶段增长——线性、对数，最终饱和——为表意文字语言中的标度律提供了更精细的理解。

ABSTRACT

Zipf's law on word frequency is observed in English, French, Spanish, Italian, and so on, yet it does not hold for Chinese, Japanese or Korean characters. A model for writing process is proposed to explain the above difference, which takes into account the effects of finite vocabulary size. Experiments, simulations and analytical solution agree well with each other. The results show that the frequency distribution follows a power law with exponent being equal to 1, at which the corresponding Zipf's exponent diverges. Actually, the distribution obeys exponential form in the Zipf's plot. Deviating from the Heaps' law, the number of distinct words grows with the text length in three stages: It grows linearly in the beginning, then turns to a logarithmical form, and eventually saturates. This work refines previous understanding about Zipf's law and Heaps' law in language systems.

研究动机与目标

• 解释中文、日文和韩文字符频率分布为何偏离标准齐夫定律。
• 探究表意文字语言中非标准赫普斯定律行为——即独特字符数量的三阶段增长——的成因。
• 建模有限词汇量与语言系统中“强者愈强”动态之间的相互作用。
• 调和经验观察到的幂律频率分布与齐夫图中指数衰减之间的矛盾。
• 深化对人类语言中标度律的理论理解，特别是非印欧语系、表意文字书写系统中的标度律。

提出的方法

• 提出一种将写作建模为有限词汇量下“强者愈强”过程的随机模型，其中以概率 q 添加新字符，以概率 1−q 复制已有字符。
• 推导字符频率分布的解析解：$ p(k) \sim k^{-\beta} $，其中 $ \beta = 1 + \varepsilon\left(\frac{V}{N_t} - 1\right) $，表明当 $ N_t \to V $ 时 $ \beta \to 1 $。
• 使用连续近似推导累积分布：$ P(k>k_0) = 1 - B \ln\left(\frac{k_0 + \varepsilon}{k_{\min} + \varepsilon}\right) $，其中 $ B \approx \left(\ln\frac{k_{\max}+\varepsilon}{k_{\min}+\varepsilon}\right)^{-1} $。
• 将累积分布转化为秩-频率关系：$ Z(r) = (k_{\min}+\varepsilon)\exp\left[\frac{1}{B}\left(1 - \frac{r-1}{N_t}\right)\right] - \varepsilon $，从而在齐夫图中产生指数衰减。
• 通过模拟和对中文、日文、韩文书籍的实证分析，验证模型的预测。
• 将模型结果与真实数据对比，显示在幂律频率分布、齐夫图中的指数衰减以及多阶段独特字符增长方面均具有一致性。

实验结果

研究问题

• RQ1 为何中文、日文和韩文字符的频率分布尽管看似幂律分布，却不遵循标准齐夫定律？
• RQ2 有限词汇量如何改变文本增长过程中字符频率和独特字符数量的标度行为？
• RQ3 导致表意文字语言中独特字符数量呈现三阶段增长模式（线性、对数、饱和）的原因是什么？
• RQ4 具有有限词汇量的“强者愈强”过程能否再现观察到的齐夫图中指数衰减及非标准赫普斯定律行为？
• RQ5 该模型如何调和幂律频率分布与标准齐夫图中指数衰减之间的表观矛盾？

主要发现

• 中文、日文和韩文文本中的字符频率分布遵循幂律分布，指数 $ \beta \approx 1 $，并在达到词汇量时趋近于1。
• 尽管频率分布呈幂律，但由于有限词汇量效应，频率-秩图（齐夫图）仍呈现指数衰减。
• 独特字符数量的增长分为三个阶段：初期为线性增长，随后进入对数增长，最终在接近词汇量极限时趋于饱和。
• 该模型的解析解在多本中文、日文和韩文书籍的模拟结果与实证数据中均表现一致。
• 观察到的偏离标准齐夫定律与赫普斯定律的现象并非人为误差，而是“强者愈强”过程中有限词汇量的直接结果。
• 研究结果挑战了‘齐夫图中指数衰减即排除幂律分布’的假设，尤其在 $ \beta \approx 1 $ 时更为显著。