[论文解读] The Galactic Dependencies Treebanks: Getting More Data by Synthesizing New Languages

Dingquan Wang, Jason Eisner|arXiv (Cornell University)|Oct 10, 2017

Natural Language Processing Techniques参考文献 25被引用 4

一句话总结

本文介绍了 Galactic Dependencies 1.0，这是一个约50,000种人工语言的合成语料库，通过随机重排真实 Universal Dependencies 语料库中的依存关系生成。通过在这些人工语言上进行训练，单源迁移学习在多种目标语言上显著提升了 UAS，证明了合成数据可增强模型对低资源语言的泛化能力，且不会过度拟合真实语言特有的特征。

ABSTRACT

We release Galactic Dependencies 1.0---a large set of synthetic languages not found on Earth, but annotated in Universal Dependencies format. This new resource aims to provide training and development data for NLP methods that aim to adapt to unfamiliar languages. Each synthetic treebank is produced from a real treebank by stochastically permuting the dependents of nouns and/or verbs to match the word order of other real languages. We discuss the usefulness, realism, parsability, perplexity, and diversity of the synthetic languages. As a simple demonstration of the use of Galactic Dependencies, we consider single-source transfer, which attempts to parse a real target language using a parser trained on a "nearby" source language. We find that including synthetic source languages somewhat increases the diversity of the source pool, which significantly improves results for most target languages.

研究动机与目标

• 解决低资源或未知语言中无监督语言结构发现的训练数据稀缺问题。
• 开发一种可扩展的方法，用于生成多样、高资源的合成语言，同时保持句法和形态上的真实性。
• 评估合成语言是否能提升依存解析中的迁移学习性能，特别是在真实源语言有限的情况下。
• 提供一个可重用、可扩展的资源，用于在不熟悉语言结构上训练和评估 NLP 系统。

提出的方法

• 通过随机重排真实 Universal Dependencies 语料库中名词和动词的依存词，生成合成语料库，以模拟其他真实语言的词序。
• 该方法保留词性标注、形态特征和词汇共现模式，以维持语言真实性并支持特征学习。
• 提供一个流水线，可将任何现有标注语料库通过按照合成语言的词序重排词语，转换为合成语言。
• 该方法采用受控的重排过程，在保持依存结构的同时改变线性顺序，从而实现词序的系统性变化。
• 合成语言被设计为多样化、可解析且足够真实，可作为希望在人类语言间泛化的模型的训练数据。
• 该框架支持通过梯度上升等优化技术，按需调整合成语言，使其更匹配目标语言的表面统计特征。

实验结果

研究问题

• RQ1 能否通过真实语料库生成的合成语言提升低资源目标语言在依存解析中的迁移学习性能？
• RQ2 在单源迁移学习中，包含合成源语言如何影响源语言池的多样性与性能？
• RQ3 与真实语言相比，合成语言在语言真实性、可解析性和困惑度方面保持到何种程度？
• RQ4 合成数据在多语言 NLP 模型中能否减少对特定词汇项的过拟合？
• RQ5 在合成语言上训练的解析器在广泛的真实目标语言上的泛化性能如何？

主要发现

• 在单源迁移学习中加入合成源语言，显著提升了大多数目标语言的 UAS，平均 UAS 从仅使用真实源语言时的 42.03% 提升至加入合成源语言后的 44.55%。
• 在低资源语言（如爱沙尼亚语，ET）中提升最为显著，UAS 从 54.81% 提升至 56.07%。
• 该方法增加了源语言池的多样性，降低了模型参数的方差，增强了对未见语言的泛化能力。
• 即使在词性标注存在噪声（准确率约 50%）的情况下，加入合成源语言仍能提升 UAS，表明对弱监督具有鲁棒性。
• 合成语言具备足够的真实感和可解析性，具有低困惑度和高结构多样性，适合作为训练和评估数据。
• 该框架可从任何现有标注语料库生成合成语言的标注数据，实现在各领域的数据增强。