[论文解读] On Difficulties of Cross-Lingual Transfer with Order Differences: A Case Study on Dependency Parsing

Wasi Uddin Ahmad, Zhisong Zhang+4 more|arXiv (Cornell University)|Nov 1, 2018

Natural Language Processing Techniques参考文献 57被引用 7

一句话总结

本文研究神经网络架构设计如何影响依存句法分析中的跨语言迁移，特别是由于语序差异的影响。比较了对顺序敏感的RNN与对顺序无感的自注意力模型，发现自注意力模型在跨语系语言迁移中泛化能力更强，尤其在语序类型差异显著的语言中表现更优。

ABSTRACT

Different languages might have different word orders. In this paper, we investigate cross-lingual transfer and posit that an order-agnostic model will perform better when transferring to distant foreign languages. To test our hypothesis, we train dependency parsers on an English corpus and evaluate their transfer performance on 30 other languages. Specifically, we compare encoders and decoders based on Recurrent Neural Networks (RNNs) and modified self-attentive architectures. The former relies on sequential information while the latter is more flexible at modeling word order. Rigorous experiments and detailed analysis shows that RNN-based architectures transfer well to languages that are close to English, while self-attentive models have better overall cross-lingual transferability and perform especially well on distant languages.

研究动机与目标

• 探究不同语言间语序差异如何影响依存句法分析中的跨语言迁移。
• 评估对顺序无感（自注意力）模型是否在跨语言迁移中优于对顺序敏感（RNN）模型。
• 利用语序类型学量化语言距离，并将其与迁移性能相关联。
• 评估神经网络架构在具有不同句法结构的多样语言家族中的泛化能力。
• 确定架构设计是否影响迁移成功，尤其是在语言距离较远的语言对中。

提出的方法

• 基于Universal Dependencies v2.2语料库中的依存关系，构建了语言特异的语序特征向量。
• 应用层次聚类（最近邻点算法）以语序类型学为基础可视化语言距离。
• 使用基于RNN和改进的自注意力（Transformer风格）编码器与解码器训练依存句法分析器。
• 在单源迁移设置下，评估从英语到其他30种语言的跨语言迁移性能。
• 通过F1分数衡量迁移性能，并使用'As-source'（按源语言平均）和'As-target'（按目标语言平均）指标聚合结果。
• 使用皮尔逊相关系数将迁移性能与语言距离相关联，以验证假设。

实验结果

研究问题

• RQ1 架构选择（RNN与自注意力）是否显著影响依存句法分析中的跨语言迁移性能？
• RQ2 语序类型学如何影响神经网络模型在不同语言间的可迁移性？
• RQ3 在语言距离较远的语言上，无序模型相较于有序模型的性能优势有多大？
• RQ4 是否存在可测量的语言距离（基于语序）与迁移性能下降之间的相关性？
• RQ5 自注意力机制能否缓解句法语序差异对跨语言NLP迁移的负面影响？

主要发现

• 基于自注意力的模型在跨语言迁移性能上显著优于基于RNN的模型，尤其在语序差异显著的远距离语言中表现更优。
• As-source性能与语言距离之间的皮尔逊相关系数为-0.90，表明存在强烈负相关：语言距离越大，迁移性能越低。
• As-target性能也与语言距离呈现强烈负相关（r = -0.87），进一步证实语序在迁移难度中的关键作用。
• 基于RNN的模型在与英语相近的语言（如德语、荷兰语）上表现良好，但在日语、韩语等远距离语言上性能急剧下降。
• 自注意力模型在多种语言家族中均保持高性能，包括汉藏语系、乌拉尔语系和闪含语系，表明其对类型学差异具有鲁棒性。
• 结果支持假设：无序模型由于对语言特异性语序模式的过拟合减少，因此在跨语言迁移中泛化能力更强。