[论文解读] NEMO: Frequentist Inference Approach to Constrained Linguistic Typology Feature Prediction in SIGTYP 2020 Shared Task

Alexander Gutkin, Richard Sproat|arXiv (Cornell University)|Oct 12, 2020

Natural Language Processing Techniques参考文献 51被引用 4

一句话总结

本文提出 NEMO，一种基于频率的推断方法，利用来自 WALS 数据的遗传、区域和蕴含普遍特征，预测语言类型学特征。该方法在基于频率的语言关联表示上应用岭回归，在 149 种测试语言上实现了 0.66 的微平均准确率，位列 SIGTYP 2020 共享任务受限子任务中的第二名。

ABSTRACT

This paper describes the NEMO submission to SIGTYP 2020 shared task which deals with prediction of linguistic typological features for multiple languages using the data derived from World Atlas of Language Structures (WALS). We employ frequentist inference to represent correlations between typological features and use this representation to train simple multi-class estimators that predict individual features. We describe two submitted ridge regression-based configurations which ranked second and third overall in the constrained task. Our best configuration achieved the micro-averaged accuracy score of 0.66 on 149 test languages.

研究动机与目标

• 通过预测 WALS 等资源中缺失的语言特征，解决类型学数据稀疏性问题。
• 开发一种受限的机器学习方法，仅使用提供的训练、验证和测试特征，不依赖外部数据。
• 评估频率推断在建模语言相关性以进行特征预测方面的有效性。
• 比较多种分类算法，识别在类型学特征预测中最具鲁棒性的方法。

提出的方法

• 使用频率推断，基于区域和遗传语言群组建模类型学特征之间的相关性。
• 构建基于频率的输入空间，表示区域和系统发育邻域以及蕴含普遍性。
• 由于其在稀疏数据上的鲁棒性和泛化能力，选择岭回归（Tikhonov 正则化）作为主要分类器。
• 从 WALS 特征推导出蕴含普遍性，以编码语言属性之间的逻辑依赖关系。
• 采用固定邻域方法处理地理和遗传关联，避免过度复杂化模型。
• 评估多种分类器，包括逻辑回归、随机森林和支持向量机，最终选择岭回归作为表现最佳者。

实验结果

研究问题

• RQ1 频率推断能否在稀疏数据集中有效建模语言相关性，以实现类型学特征预测？
• RQ2 在受限条件下，岭回归与其它分类器相比，在预测 WALS 类型学特征方面表现如何？
• RQ3 区域、遗传和蕴含普遍特征在多大程度上提升了预测准确率？
• RQ4 特征稀疏性是否与预测性能相关？不同特征的可预测性有何差异？
• RQ5 在这一类型学预测任务中，像岭回归这样简单且可解释的模型能否超越更复杂的模型？

主要发现

• 岭回归在测试集上实现了 0.66 的最高微平均准确率，优于所有其他分类器。
• 该系统显著优于基线模型，后者仅达到 0.51 的微平均准确率。
• 语序特征表现出最大的性能提升，其中一个特征（Object_and_Verb_Order）准确率高达 0.89。
• 训练数据中频率较高的特征通常更容易预测，尽管训练样本数量与准确率之间的相关性较弱（r = -0.34）。
• 该方法在与蕴含普遍性相关的特征上表现强劲，尤其是涉及语序的特征。
• 表现最佳的模型在验证集和测试集上均保持一致，岭回归在两个数据集上均排名第一。