[论文解读] Representations of Language Varieties Are Reliable Given Corpus Similarity Measures

Jonathan Dunn|arXiv (Cornell University)|Apr 3, 2021

Linguistic Variation and Morphology参考文献 22被引用 6

一句话总结

本研究通过测量九种语言中84种语言变体的语料相似性，评估了数字地理标注语料库（特别是网络和Twitter数据）在表征语言变体方面的可靠性。使用基于频率的相似性度量方法，发现网络语料与推特语料之间存在较强的等级相关性（总体rho = 0.453），表明语言变异得到一致表征，支持在计算语言学研究中使用数字语料库。

ABSTRACT

This paper measures similarity both within and between 84 language varieties across nine languages. These corpora are drawn from digital sources (the web and tweets), allowing us to evaluate whether such geo-referenced corpora are reliable for modelling linguistic variation. The basic idea is that, if each source adequately represents a single underlying language variety, then the similarity between these sources should be stable across all languages and countries. The paper shows that there is a consistent agreement between these sources using frequency-based corpus similarity measures. This provides further evidence that digital geo-referenced corpora consistently represent local language varieties.

研究动机与目标

• 评估数字地理标注语料库（网络和推特）是否能提供本地语言变体的可靠表征。
• 评估不同数据源（网络与推特）之间在多种语言和国家中语言相似性模式的一致性。
• 确定基于频率的语料相似性度量是否能够验证数字语料库在建模语言变异方面的可靠性。
• 探究语体差异（书面语与社交媒体）是否扭曲或扭曲地反映实际的语言变体模式。
• 通过建立实证证据，证明数字语料库在不同语料来源之间的一致性，支持其在计算语言学研究中的广泛应用。

提出的方法

• 从网络（Common Crawl）和推特数据中构建了84种语言变体语料库，按国家和语言进行地理标注。
• 计算每种语言以及每种变体-语体组合（如墨西哥西班牙语推文）的平均特征频率。
• 使用基于频率的相似性度量方法，比较语言层面平均值与特定变体平均值之间的语料相似性。
• 使用Spearman等级相关系数，比较网络和推特语体中语言变体的排名顺序。
• 按国家聚合跨语体相似性值，以分析语体一致性中的地理趋势。
• 通过统计检验和可视化（如图7）评估相关性和地理模式的显著性。

实验结果

研究问题

• RQ1 网络和推特语料库是否在多种语言中对语言变体产生一致的相似性排名？
• RQ2 对于给定的语言变体，其在不同数字语体（网络与推特）之间的相似性是否稳定？
• RQ3 跨语体相似性的地理模式在多大程度上与预期的区域趋势一致？
• RQ4 语料相似性度量在不同语言之间如何相关？哪些语言在数据源之间表现出最强的一致性？
• RQ5 数字语料库在不同语体之间的一致性是否支持其在建模语言变异方面的有效性？

主要发现

• 网络语料与推特语料中语言变体相似性排名的总体Spearman等级相关系数为0.453，表明在所有语言中均存在显著的一致性。
• 德语、法语、葡萄牙语和俄语显示出统计显著的相关性（rho > 0.78），表明这些语言在特定语体表征中具有高度可靠性。
• 66个国家的平均跨语体相似性为0.855，其中62个国家的相似性处于0.80–0.89区间，表明表征具有高度稳定性。
• 仅有两个国家——巴林和巴西——表现出较低的一致性（低于0.80），其中巴西可能因葡萄牙语字符级度量的准确性较低而受到影响。
• 尼日利亚和新西兰表现出更高的一致性（高于0.90），表明其数字语料表征更具一致性。
• 缺乏预期的地理聚类（例如，西欧国家未聚集在一起），进一步支持了语料库的可靠性，因为语言变异并不遵循可预测的区域模式。