[论文解读] Where New Words Are Born: Distributional Semantic Analysis of Neologisms and Their Semantic Neighborhoods

Maria Ryskina, Ella Rabinovich+3 more|arXiv (Cornell University)|Jan 6, 2020

Language and cultural evolution参考文献 31被引用 13

一句话总结

本文利用大规模历时英语语料库中的分布语义学方法，研究促使新词产生的语言因素。研究提出，语义稀疏性与语义邻近词频率上升均可预测新词的产生，且后者具有更强的经验支持，凸显了文化与技术变革等语言外部因素在塑造词汇创新中的作用。

ABSTRACT

We perform statistical analysis of the phenomenon of neology, the process by which new words emerge in a language, using large diachronic corpora of English. We investigate the importance of two factors, semantic sparsity and frequency growth rates of semantic neighbors, formalized in the distributional semantics paradigm. We show that both factors are predictive of word emergence although we find more support for the latter hypothesis. Besides presenting a new linguistic application of distributional semantics, this study tackles the linguistic question of the role of language-internal factors (in our case, sparsity) in language change motivated by language-external factors (reflected in frequency growth).

研究动机与目标

• 探究新词产生的系统性因素，超越对新词孤立个案的研究。
• 检验语言内部因素（语义稀疏性）与语言外部因素（频率增长）是否共同影响新词在语义空间中的出现位置。
• 通过词嵌入与历时语料库，对两个假设——供给驱动（稀疏性）与需求驱动（频率增长）——进行操作化并加以检验。
• 将分布语义学的应用从意义演变扩展至新词产生的分析，为语言演变提供新的计算洞见。

提出的方法

• 本研究使用在大规模历时语料库上训练的词嵌入，表示不同时期的语义空间。
• 语义稀疏性通过潜在新词语义簇周围现有词语密度的倒数来量化。
• 通过追踪语料库中时间区间内词语频率的变化，计算语义邻近词的频率增长率。
• 利用语言学与分布语义标准，从语料数据中自动识别新词，形成测试集。
• 构建非新词的对照集，用于比较各项指标的分布。
• 通过统计比较新词集与对照集之间稀疏性与频率增长率指标，检验假设。

实验结果

研究问题

• RQ1 语义嵌入邻域中的语义稀疏性在多大程度上能预测新词的产生？
• RQ2 语义邻域中词语频率的上升在多大程度上能预测新词的形成？
• RQ3 语言外部因素（反映在频率增长中）是否比语言内部因素（如稀疏性）在塑造新词产生方面发挥更重要的作用？
• RQ4 分布语义学能否用于建模新词汇项的系统性产生，而不仅仅是意义演变？

主要发现

• 语义邻近词的频率增长率是新词产生更显著的预测因子，远强于语义稀疏性。
• 语义稀疏性与新词形成呈正相关，但统计显著性较低，仅在有限程度上支持供给驱动假设。
• 新词始终被投射到语义连贯的邻近区域，最近邻词反映出概念关系，如替代关系（如 email:letter）或共存关系（如 hip-hop:jazz）。
• 本研究提供了实证证据，表明语言外部因素（如文化与技术变革，反映在频率趋势中）比纯粹的内部结构因素更能预测词汇的产生。
• 该方法成功识别出如词汇替代、缩略与拼写变化（如 lifestyle:life-style）等模式，证明模型对语义演化的敏感性。
• 本研究首次通过词嵌入对语义稀疏性进行量化操作，为在分布语义学中研究词汇创新开辟了新途径。