[论文解读] Using natural language prompts for machine translation

Xavier García, Orhan Fırat|arXiv (Cornell University)|Feb 23, 2022

Natural Language Processing Techniques被引用 15

一句话总结

本文提出使用自然语言提示（如“翻译成西班牙语：”）来控制多语言机器翻译模型，取代传统的语言标签。通过使用提示而非标签对预训练模型进行微调，该方法仅需极少的微调即可实现对未见过语言的零样本翻译，且无需引入额外参数，性能表现强劲。

ABSTRACT

We explore the use of natural language prompts for controlling various aspects of the outputs generated by machine translation models. We demonstrate that natural language prompts allow us to influence properties like formality or specific dialect of the output. We show that using language names to control the output language of multilingual translation models enables positive transfer for unseen language pairs. This unlocks the ability to translate into languages not seen during fine-tuning by using their English names. We investigate how scale, number of pre-training steps, number of languages in fine-tuning, and language similarity affect this phenomenon.

研究动机与目标

• 探究自然语言提示是否能有效控制机器翻译输出的正式程度和方言特征。
• 研究提示是否可在不引入新参数的前提下替代多语言翻译模型中的语言标签。
• 评估提示方法是否能实现对微调过程中未见过语言的零样本翻译。
• 分析模型规模、预训练数据、语言数量以及语言相似性对基于提示的迁移性能的影响。

提出的方法

• 在输入序列中用自然语言提示（如“翻译成西班牙语：”）替代传统的语言标签（如<2es>）。
• 使用提示而非标签对多语言翻译模型在平行语料上进行微调，同时保留原始模型架构。
• 在推理过程中，即使目标语言在微调阶段未出现过，也仅通过其中文名称（如“西班牙语”、“德语”）来指定目标语言。
• 通过仅微调100步，将一个已使用语言标签的模型适配为提示适应模型，以避免对已见语言对性能的下降。
• 在四种数据监督水平下评估性能：完全监督、零样本、单个平行语言对、无平行数据对。
• 对比三种模型变体：语言标签模型、从零开始训练的提示模型、以及基于语言标签模型微调得到的提示适配模型。

实验结果

研究问题

• RQ1 自然语言提示能否有效控制翻译输出的正式程度和方言？
• RQ2 使用语言名称作为提示是否能实现对微调过程中未见过语言的零样本翻译？
• RQ3 模型规模、预训练数据、语言数量以及语言相似性如何影响基于提示的迁移性能？
• RQ4 将语言标签模型微调为使用提示，是否比从零开始用提示训练的模型性能更优？

主要发现

• 将语言标签模型微调为使用提示（即适配模型）在零样本翻译任务中取得了显著性能提升，尤其在无平行数据的语言对上表现突出。
• 在英德翻译任务中，适配模型的BLEU得分为36.6，远高于语言标签基线模型的18.6，表明其具备强大的零样本迁移能力。
• 在零样本法语→西班牙语任务中，适配模型得分为34.8 BLEU，显著优于语言标签模型的43.8，表明提示具备良好的泛化能力。
• 适配模型在监督语言对上的性能几乎与原始模型保持一致（如英法对BLEU为40.4，语言标签模型为40.0），表明对已见语言的影响极小。
• 从零开始使用提示训练的模型性能劣于使用语言标签的模型，表明提示学习受益于预训练模型所蕴含的归纳偏置。
• 该方法仅通过目标语言的英文名称（如“Gujarati”或“Czech”）即可实现对未见语言的翻译，且无需额外参数或标注数据。