[论文解读] Translation and Fusion Improves Zero-shot Cross-lingual Information Extraction

Yang Chen, Vedaant Shah+1 more|arXiv (Cornell University)|May 23, 2023

Natural Language Processing Techniques被引用 4

一句话总结

本文提出 TransFusion，一种翻译与融合框架，通过将低资源语言文本翻译成英语，使用高资源 NER 模型进行标注，并融合两种语言的预测结果，从而提升零样本跨语言命名实体识别（NER）性能。该方法实现了最先进性能，在 MasakhaNER2.0 和 LORELEI NER 的 25 种低资源语言上，相较于微调的英语模型 F1 提升最高达 +16，相较于 Translate-train 基线模型 F1 提升 +6.9。

ABSTRACT

Large language models (LLMs) combined with instruction tuning have shown significant progress in information extraction (IE) tasks, exhibiting strong generalization capabilities to unseen datasets by following annotation guidelines. However, their applicability to low-resource languages remains limited due to lack of both labeled data for fine-tuning, and unlabeled text for pre-training. In this paper, we propose TransFusion, a framework in which models are fine-tuned to use English translations of low-resource language data, enabling more precise predictions through annotation fusion. Based on TransFusion, we introduce GoLLIE-TF, a cross-lingual instruction-tuned LLM for IE tasks, designed to close the performance gap between high and low-resource languages. Our experiments across twelve multilingual IE datasets spanning 50 languages demonstrate that GoLLIE-TF achieves better zero-shot cross-lingual transfer over the base model. In addition, we show that TransFusion significantly improves low-resource language named entity recognition when applied to proprietary models such as GPT-4 (+5 F1) with a prompting approach, or fine-tuning different language models including decoder-only (+14 F1) and encoder-only (+13 F1) architectures.

研究动机与目标

• 解决使用多语言模型时，低资源语言和代表性不足语言在跨语言 NER 中的性能差距问题。
• 克服现有 Translate-train 和微调方法在无目标语言微调数据的零样本设置下的局限性。
• 开发一种鲁棒的推理时框架，融合来自翻译后的高资源语言数据和原始低资源文本的预测结果。
• 在涵盖 25 种语言的多样化低资源 NER 数据集（包括 MasakhaNER2.0 和 LORELEI NER）上评估该方法。
• 证明该方法对翻译和标注错误的鲁棒性，以及与多语言模型和大语言模型的兼容性。

提出的方法

• 翻译与融合框架使用神经机器翻译模型将低资源语言的测试句子翻译成英语。
• 一个完全监督的英语 NER 模型对翻译后的句子进行标注，生成高资源侧的高质量预测结果。
• TransFusion 是一种神经模型，用于融合来自原始低资源语言输入和翻译后标注的英语输入的预测结果。
• 该模型采用晚期融合机制，同时关注两种模态，通过交叉注意力或拼接融合方式，使模型能够纠正任一来源的错误。
• 该框架支持零样本推理，无需任何目标语言的微调，仅依赖推理时的翻译和标注。
• 还引入了一种提示策略，适用于像 ChatGPT 这类大语言模型，通过自融合方式结合零样本预测与翻译后标注的输出。

Figure 1: An illustration of developing TransFusion model for cross-lingual entity recognition from CoNLL2003 (Tjong Kim Sang and De Meulder, 2003 ) English to Tigrinya: (a) Creating training data to train TransFusion using EasyProject (Chen et al., 2023 ) ; (b) Training the TransFusion model, which

实验结果

研究问题

• RQ1 将低资源语言文本翻译成高资源语言并融合标注结果，能否提升零样本跨语言 NER 性能？
• RQ2 在低资源 NER 基准上，TransFusion 模型相较于微调的英语模型和 Translate-train 基线模型表现如何？
• RQ3 TransFusion 框架在多大程度上对翻译错误和源语言预测错误具有鲁棒性？
• RQ4 该融合框架能否扩展到使用像 ChatGPT 这类大语言模型的零样本设置中？
• RQ5 在融合过程中引入额外的高资源语言是否能进一步提升低资源语言的性能？

主要发现

• 在 MasakhaNER2.0 数据集上，TransFusion 相较于微调的英语模型 F1 提升高达 +16，证明了其在零样本跨语言 NER 中的最先进性能。
• 在 LORELEI NER 数据集上，TransFusion 相较于英语微调 F1 提升 +10.7，相较 Translate-train 基线提升 +3.9。
• 即使使用参数更小的 600M NLLB-200 翻译模型，该方法依然表现稳健，尽管翻译质量较低，但仍优于 Translate-train。
• 案例研究显示，TransFusion 能够成功纠正翻译错误和源语言标注错误，而 Translate-test 因对齐错误或假阳性而失败。
• 自融合提示方法使 ChatGPT 在 MasakhaNER2.0 上的零样本 NER 性能提升 +6.3 F1，证明其在基于大语言模型的零样本推理中的可行性。
• 融合来自多种高资源语言的预测结果可进一步提升性能，表明该方法具备可扩展性，并能与多语言模型良好互补。

Figure 4: Examples of NER errors in MasakhaNER2.0. TransFusion is more robust to translation errors and English NER prediction errors compared to Translate-Test, which relies on word alignments.