[论文解读] Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond

Xin Li, Lidong Bing+3 more|arXiv (Cornell University)|Oct 23, 2020

Topic Modeling参考文献 70被引用 25

一句话总结

本文提出多语言热启动（Mtl-Ws），一种新颖的“热启动-微调”框架，通过先从多语言机器翻译数据中蒸馏特定任务的知识（经由语言特定的热启动阶段），再在源语言数据上微调模型，从而提升序列标注任务的无监督跨语言迁移性能。该方法在命名实体识别（NER）、语义角色标注（SRL）和方面情感分析（ABSA）任务上，对九种目标语言的表现均优于零样本和标准翻译基线方法，且无需针对任务进行专门设计，展现出一致的性能提升。

ABSTRACT

Cross-lingual adaptation with multilingual pre-trained language models (mPTLMs) mainly consists of two lines of works: zero-shot approach and translation-based approach, which have been studied extensively on the sequence-level tasks. We further verify the efficacy of these cross-lingual adaptation approaches by evaluating their performances on more fine-grained sequence tagging tasks. After re-examining their strengths and drawbacks, we propose a novel framework to consolidate the zero-shot approach and the translation-based approach for better adaptation performance. Instead of simply augmenting the source data with the machine-translated data, we tailor-make a warm-up mechanism to quickly update the mPTLMs with the gradients estimated on a few translated data. Then, the adaptation approach is applied to the refined parameters and the cross-lingual transfer is performed in a warm-start way. The experimental results on nine target languages demonstrate that our method is beneficial to the cross-lingual adaptation of various sequence tagging tasks.

研究动机与目标

• 重新评估零样本和基于翻译的跨语言迁移方法在细粒度序列标注任务（如 NER、SRL 和 ABSA）中的有效性。
• 解决现有基于翻译的方法在序列标注中的局限性，特别是由于词序变化和对齐间隙导致的鲁棒性不足的跨度级标签投影问题。
• 提出一种更有效的策略，利用来自机器翻译的多语言伪标签训练数据，而无需并行的单语语料库。
• 提出一种热启动机制，在微调前从翻译数据中蒸馏特定任务的知识，以提升模型泛化能力和收敛速度。
• 证明结合零样本和基于翻译的迁移优势的混合方法可在多种语言和任务上实现更优且一致的性能。

提出的方法

• 提出一种跨跨度映射策略，将词级对齐聚合为跨度级对齐，以更鲁棒地传播伪标签，减少因词序错位和对齐缺失导致的错误。
• 引入一种多语言热启动机制：模型首先在每种目标语言的少量伪标签翻译数据子集上进行训练，以蒸馏特定任务的知识。
• 采用“热启动-微调”框架：在翻译数据上完成热启动后，模型在源语言标注数据上进行微调，既保留了零样本特性，又提升了性能。
• 使用多语言预训练语言模型（mPTLMs），如 mBERT 和 XLM-R 作为主干网络，利用其跨语言表征能力。
• 采用两阶段训练流程：首先在翻译数据上进行语言特定的热启动，以注入多语言知识；其次在源语言数据上进行标准微调，以适应目标任务。
• 采用启发式跨度对齐机制，通过对齐的跨度而非单个词来传播标签，提升标签投影的鲁棒性。

实验结果

研究问题

• RQ1 在命名实体识别（NER）、语义角色标注（SRL）和方面情感分析（ABSA）等细粒度序列标注任务上，基于翻译的方法是否优于零样本方法？
• RQ2 是否可以通过鲁棒的标签投影机制缓解跨语言序列标注中因词序变化和对齐间隙带来的挑战？
• RQ3 在源语言数据微调前对翻译数据进行热启动是否有优势？其对收敛速度和性能的影响如何？
• RQ4 结合零样本和基于翻译迁移优势的混合方法是否能在多种语言和任务上实现更优且更一致的结果？
• RQ5 与标准迁移基线相比，所提出的 Mtl-Ws 框架在 F1 分数和训练效率方面表现如何？

主要发现

• 跨跨度映射策略显著提升了标签投影的鲁棒性，在西班牙语 NER 任务上，相比词对词映射，mBERT 的 F1 损失降低了 10.71 分，XLM-R 降低了 12.97 分。
• 尽管使用了高质量的机器翻译，基于翻译的方法在大多数序列标注任务上仍表现不如零样本迁移，表明当前数据利用方式存在局限。
• Mtl-Ws 框架在九种目标语言的三种不同序列标注任务（NER、SRL 和 ABSA）中均实现了稳定的性能提升。
• 热启动机制加速了收敛过程，mBERT 和 XLM-R 在早期训练阶段均表现出更快的训练进度，尤其在计算资源受限时更具优势。
• 所提方法在所有评估任务和语言上均优于零样本和标准翻译基线，证明了从翻译数据中蒸馏知识的有效性。
• Mtl-Ws 的优越性在不同 mPTLM（mBERT 和 XLM-R）上均保持一致，表明其对主干网络架构选择具有良好的泛化能力和鲁棒性。