[论文解读] What to do about non-standard (or non-canonical) language in NLP

Barbara Plank|arXiv (Cornell University)|Aug 28, 2016

Natural Language Processing Techniques参考文献 26被引用 18

一句话总结

本文主张，NLP 模型在非标准语言上的性能下降，是由于其在新闻电报等偏见性、同质化的数据上进行训练所致。本文提出利用‘偶然数据’——即被忽视的、异质的、真实世界中的文本——并结合稳健的算法，构建更具适应性、对语言多样性更敏感的模型，以实现对语言变异的更好泛化。

ABSTRACT

Real world data differs radically from the benchmark corpora we use in natural language processing (NLP). As soon as we apply our technologies to the real world, performance drops. The reason for this problem is obvious: NLP models are trained on samples from a limited set of canonical varieties that are considered standard, most prominently English newswire. However, there are many dimensions, e.g., socio-demographics, language, genre, sentence type, etc. on which texts can differ from the standard. The solution is not obvious: we cannot control for all factors, and it is not clear how to best go beyond the current practice of training on homogeneous data from a single domain and language. In this paper, I review the notion of canonicity, and how it shapes our community's approach to language. I argue for leveraging what I call fortuitous data, i.e., non-obvious data that is hitherto neglected, hidden in plain sight, or raw data that needs to be refined. If we embrace the variety of this heterogeneous data by combining it with proper algorithms, we will not only produce more robust models, but will also enable adaptive language technology capable of addressing natural language variation.

研究动机与目标

• 解决 NLP 模型在应用于非标准语言变体时持续存在的性能下降问题。
• 挑战学界对新闻电报作为事实标准训练数据的依赖，因其存在历史和可及性偏见。
• 识别当前方法（如数据标注扩展和领域自适应）在处理语言多样性方面的局限性。
• 提出转向以异质的、真实世界的数据（偶然数据）为基础，构建更稳健、更具适应性的 NLP 系统。
• 将‘领域’的概念重新构想为一个多维的‘语言变体空间’，以更好地捕捉语言、体裁、年龄和社交因素带来的语言变异。

提出的方法

• 引入‘偶然数据’的概念——即非显而易见、被忽视或原始的数据，目前虽被忽略但对建模语言变异具有价值。
• 提出将偶然数据与先进算法结合，以提升模型在不同语言变体上的鲁棒性和适应性。
• 使用自助采样法（k=150 个句子）评估模型在多样化测试集上的性能，确保评估结果稳定且具代表性。
• 通过词性标注准确率衡量模型性能，并将其与 OOV 率和词性标记双词组分布的 KL 散度等语言特征相关联。
• 分析 Twitter 数据子样本中的变异，证明即使在单一媒介内部，也存在多种语言变体。
• 使用皮尔逊相关系数（Pearson’s ρ）评估性能下降与语言协变量（如 OOV 率和分布差异）之间的关系。

实验结果

研究问题

• RQ1 NLP 模型为何在非标准语言上表现不佳，这与训练数据偏见有何关联？
• RQ2 语言变异（如年龄、体裁或语言）在多大程度上影响模型在词性标注等任务上的表现？
• RQ3 能否有效利用偶然数据来提升模型在多样化语言变体上的鲁棒性？
• RQ4 语言协变量（如 OOV 率和标记分布差异）与性能下降之间的相关性如何？
• RQ5 NLP 中的‘领域’概念是否过于狭窄？如果是，如何通过‘语言变体空间’框架更有效地建模语言变异？

主要发现

• 在非标准数据上性能显著下降，即使在媒体类型相似的 Twitter 样本之间，词性标注准确率也存在显著差异。
• OOV 率与模型准确率之间存在强烈负相关（ρ = -0.70，p = 0.02274），但当排除如 oct27 Twitter 样本等异常值后，该相关性减弱。
• 黄金标准与预测的词性双词组分布之间的 KL 散度与性能高度相关，表明词性序列的分布偏移是错误的主要原因。
• 两个媒体相同的 Twitter 样本在 OOV 率（28 vs. 52）和分布差异上存在巨大差异，表明 Twitter 包含多个语言子空间。
• 在 WSJ 上训练的模型在年轻群体和非英语语言上的表现更差，证实了模型泛化能力中已知的偏见。
• 性能变异与语言协变量（如 OOV、分布偏移）之间的相关性很强（总体变异的 ρ = 0.95），表明建模这些因素对鲁棒性至关重要。