[论文解读] Zero-shot Domain Adaptation for Neural Machine Translation with Retrieved Phrase-level Prompts

Zewei Sun, Qingnan Jiang+4 more|arXiv (Cornell University)|Sep 23, 2022

Natural Language Processing Techniques被引用 6

一句话总结

本文提出 RePP，一种用于神经机器翻译的零样本领域自适应方法，通过从预先构建的数据库中检索相关双语短语级提示来提升翻译质量，无需微调。该方法平均提升翻译性能 6.2 BLEU 分，且在未见领域中将词汇约束准确率提高 11.5%，为传统微调提供了一种快速、低成本且保护隐私的替代方案。

ABSTRACT

Domain adaptation is an important challenge for neural machine translation. However, the traditional fine-tuning solution requires multiple extra training and yields a high cost. In this paper, we propose a non-tuning paradigm, resolving domain adaptation with a prompt-based method. Specifically, we construct a bilingual phrase-level database and retrieve relevant pairs from it as a prompt for the input sentences. By utilizing Retrieved Phrase-level Prompts (RePP), we effectively boost the translation quality. Experiments show that our method improves domain-specific machine translation for 6.2 BLEU scores and improves translation constraints for 11.5% accuracy without additional training.

研究动机与目标

• 解决神经机器翻译中领域自适应的高成本与低效问题。
• 开发一种零样本方法，在无需额外训练的情况下提升未见领域中的翻译质量。
• 通过避免将敏感平行语料库暴露给模型，保护数据隐私。
• 通过基于提示的干预实现有效的词汇约束强制。

提出的方法

• 构建一个包含源-目标短语对及其上下文表征的双语短语级数据库。
• 基于上下文嵌入的语义相似度，从数据库中检索与领域相关的短语提示。
• 在翻译前将检索到的短语提示增强到输入句子中，以引导模型。
• 采用提示感知的协同训练策略，确保模型在提示与非提示输入上均能泛化。
• 在推理过程中利用 FAISS 的 IVFPQ 向量量化实现高效的相似度搜索。
• 将提示形式化为由特殊标记分隔的源-目标短语对序列，以实现软词汇约束。

实验结果

研究问题

• RQ1 从预构建的双语短语数据库中检索到的短语级提示是否能在无需微调的情况下提升神经机器翻译中的零样本领域自适应性能？
• RQ2 检索相关双语短语在提升未见领域中翻译质量方面的有效性如何？
• RQ3 基于提示的方法在不重新训练的情况下，能在多大程度上实现词汇约束的强制？
• RQ4 与微调相比，所提方法在 BLEU 和准确率方面的性能表现如何，同时保持零训练成本？
• RQ5 该方法是否可通过避免暴露特定领域的平行语料库，实现用户数据隐私的保护？

主要发现

• RePP 在无需任何额外训练的情况下，平均提升英语→德语和德语→英语方向的领域特定翻译 BLEU 分数 6.2 分。
• 该方法在词汇约束准确率上实现 11.5% 的绝对提升，分别在 Wiktionary 和 IATE 基准上达到 93.67% 和 95.41% 的准确率。
• 在零样本设置下，RePP 相较于基线 NMT 模型，在英语→德语翻译中提升 6.7 BLEU 分，在德语→英语翻译中提升 5.6 BLEU 分。
• RePP 的性能与完全监督的微调方法相当，尽管在绝对 BLEU 分数上仍略逊一筹。
• 该方法通过仅共享过滤后的短语数据库而非完整平行语料库，实现了高效、快速且保护隐私的适应。
• 案例研究证实，提示组合可实现对翻译输出的显式控制，展示了该方法的可解释性与可控性。