[论文解读] Word forms - not just their lengths- are optimized for efficient communication

Stephan C. Meylan, Thomas L. Griffiths|arXiv (Cornell University)|Mar 5, 2017

Language and cultural evolution被引用 43

一句话总结

本文提出，词的独异性（word distinctiveness）——通过音系信息含量（PIC）衡量，反映一个词的声音或字符序列在语言中出现的罕见程度——是预测词频的更强指标，优于词长。通过在13种语言的大规模语料库中使用贝叶斯推理模型，作者表明PIC在解释词频变异方面显著优于词长，证明听者处理约束在词形优化中发挥的作用，不仅限于最小化发音努力。

ABSTRACT

The inverse relationship between the length of a word and the frequency of its use, first identified by G.K. Zipf in 1935, is a classic empirical law that holds across a wide range of human languages. We demonstrate that length is one aspect of a much more general property of words: how distinctive they are with respect to other words in a language. Distinctiveness plays a critical role in recognizing words in fluent speech, in that it reflects the strength of potential competitors when selecting the best candidate for an ambiguous signal. Phonological information content, a measure of a word's string probability under a statistical model of a language's sound or character sequences, concisely captures distinctiveness. Examining large-scale corpora from 13 languages, we find that distinctiveness significantly outperforms word length as a predictor of frequency. This finding provides evidence that listeners' processing constraints shape fine-grained aspects of word forms across languages.

研究动机与目标

• 探究词的独异性（超越词长）是否可预测跨语言的词频。
• 检验认知约束（如词识别）是否塑造词形优化的假设。
• 开发并验证一种音系信息含量（PIC）度量，通过统计语言模型捕捉独异性。
• 使用跨语言语料库，将PIC的预测能力与词长进行比较，以解释词频变异。
• 证明独异性可涵盖齐夫的词长-词频定律作为特例，提供更普遍的语 linguistic 优化解释。

提出的方法

• 将词识别建模为贝叶斯推理：P(w|s) ∝ P(w) × P(s|w)，其中P(s|w)表示在给定词w的情况下听到信号s的可能性。
• 将音系信息含量（PIC）定义为PIC(w) = -log P(s_w)，其中P(s_w)是语言模型下该词序列的概率。
• 使用改进的Kneser-Ney平滑法估计n-gram语言模型（字符级和音素级），适用于类型加权模型；使用Good-Turing平滑法估计适用于词元加权模型。
• 在OPUS和Google Books中选取最常用的25,000个词类，使用类型加权模型以避免与词频的循环依赖。
• 使用n-gram模型的转移概率计算每个词的PIC，引入起始符号但不设结束符号，以防止短词的过度膨胀。
• 通过Jupyter笔记本和自定义n-gram处理库（ngrawk）在13种语言上验证结果，使用Aspell过滤排除借词和缩写词。

实验结果

研究问题

• RQ1 在多种语言中，词的独异性（通过音系信息含量PIC衡量）是否比词长更好地预测词频？
• RQ2 在控制词长后，词频与独异性之间的反比关系是否依然成立，表明听者处理约束塑造了词形？
• RQ3 PIC在多大程度上可涵盖齐夫的词长-词频定律，作为语言优化更一般性原则？
• RQ4 PIC在解释13种自然语言中词频变异方面的预测能力，与词长相比如何？
• RQ5 在考虑词形复杂性和拼写变异后，词频与独异性之间的关系是否依然稳健？

主要发现

• 在13种语言中，PIC作为词频的预测因子显著优于词长，解释的词频方差多于仅使用词长的情况。
• 即使在控制词长后，词频与独异性的反比关系依然成立，表明独异性是词形优化更根本的驱动力。
• 音系信息含量（PIC）通过测量一个词序列在语言的语音或字符结构中出现的罕见程度，捕捉了词形的诊断性。
• 研究证实，听者处理约束——尤其是从竞争词中消除歧义的需求——在精细层面塑造了词形。
• 结果支持一种以听者为中心的语言结构解释，即词形不仅为发音简便而优化，也为识别简便而优化。
• 类型加权PIC模型避免了与词频的循环依赖，其相关性更强且更易解释，验证了研究结果的稳健性。