[论文解读] On the Diachronic Stability of Irregularity in Inflectional Morphology

Ryan Cotterell, Christo Kirov+2 more|arXiv (Cornell University)|Apr 23, 2018

Natural Language Processing Techniques参考文献 23被引用 5

一句话总结

本文通过使用基于LSTM的神经网络模拟代际语言学习，研究了为何不规则屈折形式能在语言中长期存续。研究发现，只有当这些形式使用频率较高时，它们才更可能存活下来，p < 0.002，支持了频率在跨代语言中稳定不规则形态的假设。

ABSTRACT

Many languages' inflectional morphological systems are replete with irregulars, i.e., words that do not seem to follow standard inflectional rules. In this work, we quantitatively investigate the conditions under which irregulars can survive in a language over the course of time. Using recurrent neural networks to simulate language learners, we test the diachronic relation between frequency of words and their irregularity.

研究动机与目标

• 探究不规则屈折形式在语言学习者代际间存续的历时条件。
• 检验使用频率是否决定语言演化中不规则形态的稳定性。
• 使用现代循环神经网络替代抽象特征向量，更新并改进早期的代际模拟模型。
• 在训练数据中比较不同分布假设（单频模型与均匀分布）下不规则形式的稳定性。
• 为检验频率在形态规则化中的作用，提供一个清晰、以假设为导向的实验框架。

提出的方法

• 作者使用序列到序列的LSTM模型模拟跨代语言习得，训练数据来自英语动词的屈折 paradigms（ paradigms 保留原文）。
• 每一代学习者均在不规则与规则形式的分布上进行训练，训练数据来自单频分布或均匀分布。
• 模型生成实际表面形式（字符串），而非抽象音系特征，从而实现对形态准确性的直接评估。
• 模拟过程跨越多代，每一代新模型均基于前一代的输出进行训练，模拟文化传递过程。
• 研究人员比较不同数据分布下不规则形式的保留情况，以评估频率对稳定性的影响力。
• 进行统计假设检验，以确定单频分布是否导致不规则形式的保留率显著高于其他分布。

实验结果

研究问题

• RQ1 在何种条件下，不规则屈折形式能在多代语言学习者中存续？
• RQ2 训练数据中不规则形式的频率是否显著影响其在语言中的长期保留？
• RQ3 在代际传递下，现代英语中不规则性的分布是否稳定？若采用其他分布，是否会引发更大程度的规则化？
• RQ4 与早期的联结主义模型相比，现代神经序列模型在模拟形态演化方面表现如何？
• RQ5 相关词干（如'go'和'fall'）在共享使用频率的背景下，能在多大程度上支持不规则形式的保留？

主要发现

• 当不规则形式在训练分布中频率较高时，其存续的可能性显著提高，p值小于0.002。
• 与均匀分布相比，单频分布导致不规则形式的保留率更高，表明频率是关键的稳定因素。
• 模拟结果表明，不频繁的不规则形式在代际间系统性地被规则化，支持了仅高频不规则形式能存续的假设。
• 使用现代LSTM模型可实现比早期使用抽象特征向量（如Wickelphones）的模型更真实的字符串生成与评估。
• 结果证实，现代英语中不规则性分布的当前形态在代际传递下是稳定的，尤其在频率得以保留时。
• 本研究表明，高频相关词干（如'go'和'fall'）可通过共享使用模式，支持不规则形式的保留。