[论文解读] What do complexity measures measure? Correlating and validating corpus-based measures of morphological complexity

Çağrı Çöltekin, Taraka Rama|arXiv (Cornell University)|Apr 11, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本研究评估了30种语言中的八种基于语料库的形态复杂性度量，通过主成分分析发现其具有强烈相关性，并存在一个占总方差92.6%的主导单一维度。尽管在枚举性复杂性与整合性复杂性之间存在理论区分，这些度量主要反映了一个连贯的形态复杂性维度，联合使用多个度量比单一度量更能提供可靠结果。

ABSTRACT

We present an analysis of eight measures used for quantifying morphological complexity of natural languages. The measures we study are corpus-based measures of morphological complexity with varying requirements for corpus annotation. We present similarities and differences between these measures visually and through correlation analyses, as well as their relation to the relevant typological variables. Our analysis focuses on whether these `measures' are measures of the same underlying variable, or whether they measure more than one dimension of morphological complexity. The principal component analysis indicates that the first principal component explains 92.62 % of the variation in eight measures, indicating a strong linear dependence between the complexity measures studied.

研究动机与目标

• 评估广泛使用的基于语料库的形态复杂性度量是否衡量相同的潜在语言构造。
• 调查这些度量是否捕捉到复杂性的多个维度，例如枚举性（形态句法区分的数量）与整合性（形式可预测性）。
• 通过WALS数据库的类型学特征和屈折准确率数据验证这些度量。
• 确定联合使用多个度量是否能提高评估形态复杂性的可靠性。
• 考察语料库规模和不规则性对模型性能及复杂性估计的影响。

提出的方法

• 对30种语言中的八种形态复杂性度量应用主成分分析（PCA），以识别其潜在变异维度。
• 使用多个语料库树库（如UD、TüBa-D/Z）生成的屈折表计算复杂性得分，确保与实际语言使用保持一致。
• 将复杂性度量与WALS类型学特征及负向屈折准确率得分进行相关性分析，以评估其外部效度。
• 对所有复杂性度量对进行相关性分析，以评估其相互依赖性。
• 分析语料库规模和不规则形式频率对模型性能及复杂性估计的影响。
• 通过可视化不同度量和PCA维度下的语言排名，评估其按语系和类型学相似性聚类的情况。

实验结果

研究问题

• RQ1 这八种基于语料库的形态复杂性度量是否衡量相同的潜在语言构造？
• RQ2 这些度量在多大程度上反映了形态复杂性的多个维度，例如枚举性与整合性复杂性？
• RQ3 这些复杂性度量与外部语言变量（如WALS类型学特征和屈折准确率）的相关性如何？
• RQ4 为何复杂性度量与负向屈折准确率呈正相关，与预期的负相关相反？
• RQ5 联合使用多个复杂性度量是否能比单一度量提供更稳定可靠的形态复杂性估计？

主要发现

• 第一主成分解释了八种复杂性度量中92.6213%的方差，表明其具有强烈的线性依赖性，并存在一个主导的单一潜在维度。
• 尽管在枚举性与整合性复杂性之间存在理论区分，这些度量主要反映了一个连贯的形态复杂性维度。
• 对派生形态和复合结构敏感的度量（如WH和LH）对越南语和英语等语言的得分较高，尽管这些语言在复杂性排名中原本较低。
• 所有复杂性度量彼此之间均呈正相关，支持其对同一构造的共同关注。
• MSP度量与负向屈折准确率的相关性最高（0.2837），表明其对不规则性和处理难度最为敏感。
• 来自同一或密切相关语言的树库在PCA空间中聚类紧密，表明这些度量能可靠地反映类型学和谱系关系。