[论文解读] Zipf's law is a consequence of coherent language production

Jake Ryland Williams, James P. Bagrow+4 more|arXiv (Cornell University)|Jan 29, 2016

Natural Language Processing Techniques参考文献 1被引用 7

一句话总结

本文提出，自然语言中的齐夫定律源于连贯、主题一致的语言生成，而非随机过程。通过使用由专家标注的短语切分而非词级分词，作者表明基于短语的文本表征更符合西蒙的语言生成随机模型，显著提升了R²拟合度（最高达0.95），并揭示出主题一致的文本——尤其是非词典类作品——对齐齐夫定律的遵循程度更强。

ABSTRACT

The task of text segmentation may be undertaken at many levels in text analysis---paragraphs, sentences, words, or even letters. Here, we focus on a relatively fine scale of segmentation, hypothesizing it to be in accord with a stochastic model of language generation, as the smallest scale where independent units of meaning are produced. Our goals in this letter include the development of methods for the segmentation of these minimal independent units, which produce feature-representations of texts that align with the independence assumption of the bag-of-terms model, commonly used for prediction and classification in computational text analysis. We also propose the measurement of texts' association (with respect to realized segmentations) to the model of language generation. We find (1) that our segmentations of phrases exhibit much better associations to the generation model than words and (2), that texts which are well fit are generally topically homogeneous. Because our generative model produces Zipf's law, our study further suggests that Zipf's law may be a consequence of homogeneity in language production.

研究动机与目标

• 探究自然语言中的齐夫定律是否源于连贯、主题一致的语言生成，而非随机过程。
• 通过使用由专家标注的短语切分而非词级分词，改进文本表征对语言生成西蒙模型的拟合度。
• 开发一种方法，用于衡量文本切分与语言生成模型的匹配程度，以R²作为模型关联性的度量指标。
• 证明基于短语的分析可增强计算文本分析中词袋模型假设的可解释性与符合度。
• 识别出不符合模型的文本类型——尤其是主题异质或简短的文本——并将拟合度差的原因归因于缺乏主题连贯性。

提出的方法

• 采用基于专家标注数据（来自Wiktionary和MWE基准）的随机文本切分框架，利用键断裂概率将文本分割为短语。
• 将西蒙模型（无记忆、频率成比例的术语生成）作为生成模型，用于检验真实文本与理论分布的拟合程度。
• 通过观察到的短语频率与西蒙模型预测分布之间的R²值来度量模型拟合度，采用均匀切分（q=1/2）和优化切分（MLP）两种策略。
• 采用机器学习流水线（MLP）从训练数据中学习最优切分参数，从而在拟合度上优于均匀随机切分。
• 分析Project Gutenberg电子书在国会图书馆分类法和主题分类下的R²值变化，以评估不同文本类型对模型拟合度的差异。
• 开发一个公开可用的Python工具包（https://github.com/jakerylandwilliams/partitioner），支持11种语言，并提供交互式在线附录以供探索。

实验结果

研究问题

• RQ1 与词级分词相比，基于专家标注的短语切分是否能显著提升文本频率分布对西蒙模型的拟合度？
• RQ2 自然语言中的齐夫定律是否如连贯文本中模型拟合度提升所暗示的那样，源于主题一致的语言生成？
• RQ3 不同文本类型（如词典、教科书、诗歌和小说）对西蒙模型的拟合度（R²）如何变化？
• RQ4 R²拟合度是否可作为主题一致性的指标，或文本连贯性的指示？
• RQ5 简短、异质或内容混合的文本在多大程度上不满足词袋模型假设及西蒙生成过程的条件？

主要发现

• 基于专家标注的短语切分显著提升了文本频率分布对西蒙模型的拟合度，R²值最高可达0.95，远超词级分析的结果。
• 主题一致的文本——如医学、法律和军事科学类书籍——表现出较高的R²值（中位数 > 0.6），而异质性文本如词典和期刊则拟合度差（R² < 0.6）。
• 诗歌、短篇小说和科幻小说常表现出较低的R²值，原因在于篇幅短促及非标准短语使用，表明其分布模式尚未稳定。
• 模型拟合度（R²）与文本连贯性密切相关：具有清晰主题边界的文本或主题一致的文本与西蒙模型的匹配度更高。
• 词典和拼写书始终是拟合度最差的文本类型，R²值较低，证实其不适合基于词袋模型的分析。
• MLP优化的切分方法在几乎所有情况下均优于均匀随机切分（q=1/2），证明数据驱动的切分优于启发式方法。