[论文解读] Scaling laws in human speech, decreasing emergence of new words and a generalized model

Ruokuang Lin, Qianli D.Y.+1 more|arXiv (Cornell University)|Dec 16, 2014

Opinion Dynamics and Social Influence被引用 5

一句话总结

本文提出了一种广义的优先连接模型，以解释人类语言中的标度律，表明口语遵循齐夫定律和希普斯定律，但与书面文本相比，词汇频率衰减更急剧，新词汇出现的饱和速度更快。该模型通过参数调节捕捉了这些差异，揭示了在大规模下口语比书面语更具可预测性且词汇多样性更低。

ABSTRACT

Human language, as a typical complex system, its organization and evolution is an attractive topic for both physical and cultural researchers. In this paper, we present the first exhaustive analysis of the text organization of human speech. Two important results are that: (i) the construction and organization of spoken language can be characterized as Zipf's law and Heaps' law, as observed in written texts; (ii) word frequency vs. rank distribution and the growth of distinct words with the increase of text length shows significant differences between book and speech. In speech word frequency distribution are more concentrated on higher frequency words, and the emergence of new words decreases much rapidly when the content length grows. Based on these observations, a new generalized model is proposed to explain these complex dynamical behaviors and the differences between speech and book.

研究动机与目标

• 使用标度律分析并比较口语与书面文本的统计组织结构。
• 量化口语与书籍之间词汇频率分布和词汇量增长的差异。
• 开发一种广义模型，以解释口语与书面语中词汇出现和频率的动态差异。
• 通过英国国家语料库口语语料和经典书籍的实证数据验证该模型。

提出的方法

• 对英国国家语料库中10段口语转录文本和10部经典书籍进行实证分析，文本长度相当。
• 将词汇频率分布拟合至幂律模型以检验齐夫定律，通过重采样对数尺度数据和决定系数R²评估拟合优度。
• 使用希普斯定律分析词汇量增长，将不同词汇数N(t)对文本长度t进行拟合，以估计次线性标度指数λ。
• 提出一种广义优先连接模型，其中词汇重复使用的概率取决于其先前频率，通过调节参数以匹配口语和书籍数据。
• 使用对数尺度重采样以避免对数-对数拟合中的偏差，确保标度指数估计的准确性。
• 将模型模拟结果与实证数据进行比较，验证模型再现口语与书面语中词汇频率和词汇量增长差异的能力。

实验结果

研究问题

• RQ1 口语中的词汇频率分布与书面文本相比，在齐夫定律下有何差异？
• RQ2 根据希普斯定律，口语与书籍在词汇量随文本长度增长方面的差异程度如何？
• RQ3 口语中新词汇出现更快饱和的机制是什么，相较于书面文本？
• RQ4 一个具有可调参数的单一广义模型能否解释口语与书面语中观察到的不同标度行为？

主要发现

• 口语转录文本的词汇频率衰减指数更陡峭（α = 1.39 ± 0.06），而书籍的指数较平缓（α = 1.12 ± 0.08），表明口语中高频词的集中度更高。
• 口语的词汇频率分布标度指数β（1.67 ± 0.05）低于书籍（1.77 ± 0.11），证实口语中词汇频率的集中程度更高。
• 口语的词汇量增长遵循希普斯定律，其标度指数λ ≈ 0.55，小于书籍的λ ≈ 0.65，表明口语中新词汇的出现更快饱和。
• 广义优先连接模型通过参数调节成功再现了实证中的标度律及口语与书籍之间的差异。
• 实证数据显示，在相当的文本长度下，口语使用的不同词汇数（2158–5815）少于书籍（2572–29020），表明口语的词汇多样性更低。
• 齐夫定律和希普斯定律的拟合优度在口语和书籍中均很高（R² > 0.99），证实两种语言模态均表现出稳健的标度行为。