[论文解读] Polyglot Prompt: Multilingual Multitask PrompTraining

Jinlan Fu, See-Kiong Ng+1 more|arXiv (Cornell University)|Apr 29, 2022

Topic Modeling被引用 7

一句话总结

本文提出Polyglot Prompting，一种单体多语言多任务框架，通过提示工程在49种语言中统一多种自然语言处理任务（如分类、问答和摘要），实现跨语言和跨任务的强零样本迁移性能。通过使用与任务无关的提示训练单一编码器-解码器模型，该方法证明了无需任务或语言特定模块即可实现跨语言和跨任务的知识蒸馏。

ABSTRACT

This paper aims for a potential architectural improvement for multilingual learning and asks: Can different tasks from different languages be modeled in a monolithic framework, i.e. without any task/language-specific module? The benefit of achieving this could open new doors for future multilingual research, including allowing systems trained on low resources to be further assisted by other languages as well as other tasks. We approach this goal by developing a learning framework named Polyglot Prompting to exploit prompting methods for learning a unified semantic space for different languages and tasks with multilingual prompt engineering. We performed a comprehensive evaluation of 6 tasks, namely topic classification, sentiment classification, named entity recognition, question answering, natural language inference, and summarization, covering 24 datasets and 49 languages. The experimental results demonstrated the efficacy of multilingual multitask prompt-based learning and led to inspiring observations. We also present an interpretable multilingual evaluation methodology and show how the proposed framework, multilingual multitask prompt training, works. We release all datasets prompted in the best setting and code.

研究动机与目标

• 解决在单一、参数自由的框架中统一概念上差异较大的自然语言处理任务和多种语言的挑战。
• 探索是否可通过共享学习，利用相关任务的高资源数据集来提升低资源环境下的性能。
• 研究语言多样性及数据集特征对模型在不同语言和任务间泛化能力的影响。
• 开发一种可解释的评估方法论，以分析模型在不同任务、语言和数据集上的行为。
• 识别有效的多语言提示设计策略，以增强跨语言和跨任务的迁移性能。

提出的方法

• 采用编码器-解码器预训练语言模型架构，以支持包括序列分类、生成和自然语言蕴含在内的多种任务。
• 通过任务特定的提示模板将所有任务重新表述为预训练目标，实现在无需任务特定头的情况下统一训练。
• 为每项任务设计5个跨语言（英语）提示模板，包含输入字段占位符（例如：问题、上下文、句子对）。
• 在涵盖49种语言和6项任务的24个数据集上，使用共享参数的多任务学习训练单一统一模型。
• 通过保持提示结构在不同语言间的一致性，同时根据目标语言调整语言形式，实施多语言提示工程。
• 采用统一的评估协议，包括本语言训练、跨语言零样本迁移，以及跨任务与跨语言的零样本迁移。

实验结果

研究问题

• RQ1 在不使用任务或语言特定模块的情况下，不同语言的各类任务是否能在单体框架中相互受益？
• RQ2 通过多任务学习，引入高资源数据集是否能提升低资源环境下的性能？
• RQ3 数据集和语言特征如何影响统一框架的性能？
• RQ4 在多语言多任务提示训练中，什么构成有效的提示？特别是模板一致性与语言选择方面？
• RQ5 该框架是否能在任务和语言之间均实现强大的零样本迁移性能？

主要发现

• Polyglot Prompting框架在49种语言和6项不同的自然语言处理任务中均实现了强大的零样本迁移性能，证明了概念上不同的任务可以被有效统一。
• 将17个高资源数据集引入多任务框架后，显著提升了低资源语言的性能，尤其在问答和自然语言蕴含等任务中表现突出。
• 模型展现出稳健的跨语言迁移能力，对类型学上相似的语言表现更优，且使用结构一致的多语言提示模板时性能进一步提升。
• 提示模板设计具有显著影响：包含清晰任务指令且在不同语言间格式一致的模板，比不一致或模糊的模板泛化效果更好。
• 可解释的评估方法揭示，性能因任务类型而异，分类和序列标注任务在低资源环境下受益更多，而生成任务表现相对较弱。
• 该框架在跨语言零样本迁移中优于强基线模型，尤其在斯瓦希里语、泰语和乌尔都语等低资源语言上表现突出，凸显其在低资源自然语言处理应用中的潜力。