[论文解读] On the Importance of Word Order Information in Cross-lingual Sequence Labeling

Zihan Liu, Genta Indra Winata+4 more|arXiv (Cornell University)|Jan 30, 2020

Natural Language Processing Techniques被引用 15

一句话总结

本文提出通过减少跨语言序列标注模型中的词序信息，以提升其在低资源目标语言上的零样本迁移性能。通过移除或修改位置嵌入，并在改进的Transformer模型（ORT）中使用对词序不敏感的架构（如Conv1d），使模型对源语言词序的敏感度降低，从而在词性标注、命名实体识别和槽填充等任务中实现一致的性能提升，尤其在语法结构不同的语言之间迁移时效果显著。

ABSTRACT

Word order variances generally exist in different languages. In this paper, we hypothesize that cross-lingual models that fit into the word order of the source language might fail to handle target languages. To verify this hypothesis, we investigate whether making models insensitive to the word order of the source language can improve the adaptation performance in target languages. To do so, we reduce the source language word order information fitted to sequence encoders and observe the performance changes. In addition, based on this hypothesis, we propose a new method for fine-tuning multilingual BERT in downstream cross-lingual sequence labeling tasks. Experimental results on dialogue natural language understanding, part-of-speech tagging, and named entity recognition tasks show that reducing word order information fitted to the model can achieve better zero-shot cross-lingual performance. Furthermore, our proposed methods can also be applied to strong cross-lingual baselines, and improve their performances.

研究动机与目标

• 探究在源语言模型中减少词序信息是否能提升跨语言迁移性能。
• 解决顺序敏感模型（如标准Transformer）因过度拟合源语言词序而导致在语法结构不同的目标语言上性能下降的问题。
• 开发使序列编码器对词序依赖性降低的方法，同时保持其捕捉语义和句法结构的能力。
• 评估词序减少模型在多样化序列标注任务中对零样本跨语言设置的泛化能力。
• 分析词序编码过多或过少的权衡，识别出跨语言鲁棒性的最优水平。

提出的方法

• 提出一种顺序减少的Transformer（ORT），通过移除位置嵌入，并将前馈层替换为一维卷积网络（Conv1d），以编码部分、局部的词序信息。
• 在训练过程中通过随机排列参数k对词序进行洗牌，使模型对词序变化更具鲁棒性。
• 在微调过程中冻结多语言BERT（M-BERT）的位置嵌入，以保持其对词序不敏感的特性，从而提升跨语言泛化能力。
• 使用M-BERT的正弦位置嵌入初始化ORT的位置嵌入，并在训练中冻结，以维持其对词序不敏感的行为。
• 集成CRF层以建模标签序列依赖关系，隐式编码对序列标注至关重要的局部词序模式。
• 通过消融实验分析位置嵌入、前馈层、洗牌策略及CRF使用的影响，以隔离各组件的独立作用。

实验结果

研究问题

• RQ1 减少模型对源语言词序的依赖是否能提升在序列标注任务上的零样本跨语言性能？
• RQ2 通过Conv1d中的卷积核大小编码的词序量如何影响模型在目标语言上的泛化能力？
• RQ3 在微调过程中冻结M-BERT的位置嵌入是否能增强跨语言迁移能力？
• RQ4 在跨语言序列标注中，词序编码的最优水平是什么——编码过多或过少是否都会产生负面影响？
• RQ5 在词序被洗牌的数据上进行训练，是否能提升当目标语言具有不同词序时的模型鲁棒性？

主要发现

• 使用Conv1d的顺序减少Transformer（ORT）在零样本跨语言序列标注任务中优于标准Transformer和相对位置编码Transformer（RPT），在槽填充任务上达到66.84的F1分数。
• 训练过程中词序洗牌可提升模型鲁棒性：当k=4时，ORT在SF任务上达到63.54的F1分数，优于非洗牌基线模型。
• 在微调过程中冻结M-BERT的位置嵌入可保持其对词序不敏感的特性，从而提升对目标语言的泛化能力。
• 过度编码词序信息（如ORT中卷积核大小为10）会降低零样本性能，表明过强的词序敏感性会损害迁移能力。
• 完全不编码词序信息的模型（如ORT中无任何位置编码）在源语言和目标语言上表现均较差，表明适量的词序信息是必要的。
• CRF层显著提升性能，ORT + CRF在SF任务上达到66.84的F1分数，表明标签序列依赖关系对序列标注任务至关重要。