[论文解读] Neural Polysynthetic Language Modelling

Lane Schwartz, Francis M. Tyers+19 more|arXiv (Cornell University)|May 11, 2020

Natural Language Processing Techniques参考文献 74被引用 13

一句话总结

本文提出了一种新颖的神经语言建模范式，通过将有限状态形态分析器与张量积表示（TPR）相结合，以应对因纽特语、尤皮克语和瓜拉尼语等多式综合语的极端形态复杂性。通过采用语言学启发的词素级切分和自定义的解绑损失函数，该方法在低资源、高形态语言上的语言建模性能显著优于标准子词或字符级方法。

ABSTRACT

Research in natural language processing commonly assumes that approaches that work well for English and and other widely-used languages are "language agnostic". In high-resource languages, especially those that are analytic, a common approach is to treat morphologically-distinct variants of a common root as completely independent word types. This assumes, that there are limited morphological inflections per root, and that the majority will appear in a large enough corpus, so that the model can adequately learn statistics about each form. Approaches like stemming, lemmatization, or subword segmentation are often used when either of those assumptions do not hold, particularly in the case of synthetic languages like Spanish or Russian that have more inflection than English. In the literature, languages like Finnish or Turkish are held up as extreme examples of complexity that challenge common modelling assumptions. Yet, when considering all of the world's languages, Finnish and Turkish are closer to the average case. When we consider polysynthetic languages (those at the extreme of morphological complexity), approaches like stemming, lemmatization, or subword modelling may not suffice. These languages have very high numbers of hapax legomena, showing the need for appropriate morphological handling of words, without which it is not possible for a model to capture enough word statistics. We examine the current state-of-the-art in language modelling, machine translation, and text prediction for four polysynthetic languages: Guaraní, St. Lawrence Island Yupik, Central Alaskan Yupik, and Inuktitut. We then propose a novel framework for language modelling that combines knowledge representations from finite-state morphological analyzers with Tensor Product Representations in order to enable neural language models capable of handling the full range of typologically variant languages.

研究动机与目标

• 解决在训练数据有限的情况下，对高度屈折、多式综合语进行建模的挑战。
• 克服标准子词切分（如 BPE、Morfessor）和字符级模型在捕捉低资源语言丰富形态结构方面的局限性。
• 开发一种整合来自有限状态形态分析器的语言知识的神经语言建模范式，以提升泛化能力和表征学习效果。
• 通过设备端、词素感知的预测文本系统，实现在移动设备上部署语言模型，以支持濒危多式综合语的应用。
• 提出一种新型可微分损失函数（解绑损失），以对齐预测的词素级表征与标准形态结构。

提出的方法

• 利用有限状态形态分析器（FST）对多式综合语的词语进行显式、语言学基础的词素级切分。
• 使用张量积表示（TPR）将每个词素表示为分布式张量，实现对复杂词形的组合建模。
• 使用词素级标记作为输入，训练循环神经网络（RNN）语言模型，并引入一种新型解绑损失函数，以对齐预测的 TPR 张量与标准词素表征。
• 在四种切分方法（字符级、BPE、Morfessor 和基于 FST 的切分）之间进行性能比较，以困惑度为主要评估指标。
• 开发基于字符级 RNN 的设备端神经语言模型，使其能够感知词素边界，并以词素为预测单位而非完整词语，以处理长而罕见的词形。
• 通过利用相关多式综合语的数据（如以因纽特语为源语）实现低资源环境下的多语言迁移学习，以提升机器翻译质量。

实验结果

研究问题

• RQ1 是否能够通过整合来自有限状态形态分析器的语言知识，使神经语言模型在高度屈折、低资源的多式综合语上超越标准子词或字符级模型？
• RQ2 在具有高罕用词比例且语料量有限的语言中，基于 TPR 的词素级建模在提升泛化能力和表征学习方面效果如何？
• RQ3 从相关多式综合语进行迁移学习在低资源环境下对提升机器翻译质量的贡献程度如何？
• RQ4 在设备端部署词素感知语言模型时，面对具有极长、极罕见词形的濒危语言，会面临哪些实际挑战？
• RQ5 所提出的解绑损失函数在对齐预测的词素张量与标准语言学结构方面的有效性如何？

主要发现

• 基于 FST 的切分方法在多式综合语上取得了最低的困惑度，优于字符级、BPE 和 Morfessor 方法，表明语言学启发的切分对建模形态复杂性至关重要。
• 在瓜拉尼语和圣劳伦斯岛尤皮克语的设备端键盘中，词素级预测成功处理了那些作为完整词语候选不切实际的长而罕见的词形。
• 所提出的基于 TPR 的框架结合解绑损失，有效对齐了预测的词素表征与标准形态结构，支持对复杂词语的组合建模。
• 在多式综合语中，词级建模性能显著劣于字符级建模，凸显了在低资源环境下对完整词形进行建模的困难。
• 通过从相关多式综合语（如因纽特语）进行迁移学习，显著提升了中央阿拉斯加尤皮克语和圣劳伦斯岛尤皮克语等低资源语言的机器翻译质量，且无需大规模单语语料。
• 本研究首次实现了瓜拉尼语和圣劳伦斯岛尤皮克语的设备端预测文本系统，使神经语言模型在濒危语言场景中实现真实世界部署成为可能。