[论文解读] Stability of Syntactic Dialect Classification Over Space and Time

Jonathan Dunn, Sidney Wong|arXiv (Cornell University)|Sep 11, 2022

Linguistic Variation and Morphology被引用 4

一句话总结

本文使用构式语法表征，在12种英语方言中评估了基于句法的方言分类器的时空稳定性。研究发现，尽管分类性能随时间呈现可预测的衰减——新西兰英语除外——但各国内部不同地理位置的准确率存在显著差异，表明方言模型并未同等代表所有地方群体，揭示了语法变异中的空间异质性。

ABSTRACT

This paper analyses the degree to which dialect classifiers based on syntactic representations remain stable over space and time. While previous work has shown that the combination of grammar induction and geospatial text classification produces robust dialect models, we do not know what influence both changing grammars and changing populations have on dialect models. This paper constructs a test set for 12 dialects of English that spans three years at monthly intervals with a fixed spatial distribution across 1,120 cities. Syntactic representations are formulated within the usage-based Construction Grammar paradigm (CxG). The decay rate of classification performance for each dialect over time allows us to identify regions undergoing syntactic change. And the distribution of classification accuracy within dialect regions allows us to identify the degree to which the grammar of a dialect is internally heterogeneous. The main contribution of this paper is to show that a rigorous evaluation of dialect classification models can be used to find both variation over space and change over time.

研究动机与目标

• 使用地理分布数据评估基于句法的方言分类模型在时间和空间上的稳定性。
• 确定方言模型在语言和人口变化背景下是否仍能保持有效性。
• 调查方言模型是否在国家内部所有人群中均等代表，或是否存在性能上的空间差异。
• 评估句法构式在捕捉多样化地理和时间背景下的方言变异中的作用。
• 证明模型性能衰减和空间误差模式可揭示语言变化及方言内部的异质性。

提出的方法

• 构建了一个覆盖12种英语方言、为期三年（2019–2021年）的平衡月度测试集，包含1,120个城市，保持固定的地理分布。
• 使用构式语法（CxG）建模句法结构，将每个构式作为“构式集合”表示中的一个特征。
• 在固定2018年训练期内训练线性SVM分类器，并每月测试性能以评估时间稳定性。
• 使用经验贝叶斯调整的莫兰指数（Empirical Bayes-adjusted Moran’s I）进行空间自相关分析，测量城市间分类准确率的空间结构。
• 使用错误率衰减曲线检测分类性能的时间变化，以区分普遍衰减与方言特异性变化。
• 通过地图可视化城市级别的准确率，识别各国内部表现高低区域。

实验结果

研究问题

• RQ1 基于句法的方言分类模型在不同英语方言中随时间的稳定性如何？
• RQ2 在单一方言区域内，模型性能在地理位置上的差异程度如何？
• RQ3 分类性能的衰减率是否能揭示方言特异性的语言变化？
• RQ4 模型准确率的差异在空间上如何分布？这对其方言模型代表性意味着什么？
• RQ5 方言模型在多大程度上因内部语法异质性而未能代表方言区域内的某些人群？

主要发现

• 大多数方言在时间上表现出一致的性能衰减率，表明为普遍模型衰减而非方言特异性变化，但新西兰英语除外，其表现出可检测的时间变化。
• 新西兰英语表现出最显著的时间变异，其错误分布随时间发生明显变化，表明该方言中存在持续的句法变化。
• 所有国家内部的分类准确率空间差异均显著，莫兰指数（Moran’s I）值在0.17（爱尔兰）至0.70（马来西亚）之间，表明模型性能具有强烈的空间结构。
• 在国家内部，性能差异显著：例如在新西兰，准确率从8%到62%不等，农村及地理上独特的地区（如北地和南地）准确率较低。
• 美国和英国的平均准确率最高（分别为79%和73%），而新西兰最低（36%），表明模型在其人群中的泛化能力较弱。
• 本研究证实，即使是最优的方言模型也无法同等代表方言内的所有说话者，因为农村及语言上独特的地区性能系统性偏低。