[论文解读] Neural Machine Translation with Monolingual Translation Memory

Deng Cai, Wang Yan+3 more|arXiv (Cornell University)|May 24, 2021

Natural Language Processing Techniques参考文献 68被引用 16

一句话总结

该论文提出了一种新颖的神经机器翻译框架，通过引入单语翻译记忆和可学习的跨语言检索器来增强神经机器翻译，实现了仅使用目标语单语数据的端到端优化。该方法在性能上达到当前最先进水平，优于强大的双语翻译记忆增强基线模型，并在低资源和领域适应设置中取得显著提升。

ABSTRACT

Prior work has proved that Translation memory (TM) can boost the performance of Neural Machine Translation (NMT). In contrast to existing work that uses bilingual corpus as TM and employs source-side similarity search for memory retrieval, we propose a new framework that uses monolingual memory and performs learnable memory retrieval in a cross-lingual manner. Our framework has unique advantages. First, the cross-lingual memory retriever allows abundant monolingual data to be TM. Second, the memory retriever and NMT model can be jointly optimized for the ultimate translation goal. Experiments show that the proposed method obtains substantial improvements. Remarkably, it even outperforms strong TM-augmented NMT baselines using bilingual TM. Owning to the ability to leverage monolingual data, our model also demonstrates effectiveness in low-resource and domain adaptation scenarios.

研究动机与目标

• 解决现有翻译记忆增强神经机器翻译模型依赖双语平行数据和非可学习检索机制的局限性。
• 实现利用丰富的目标语单语数据作为翻译记忆，扩展可利用的训练数据范围。
• 设计一种可微分、端到端可训练的记忆检索器，其优化目标为翻译质量而非词法重叠。
• 通过利用领域内单语翻译记忆实现无需微调的领域适应，从而提升低资源和领域适应场景的性能。

提出的方法

• 采用双编码器框架，将源语句和目标语句映射到共享潜在空间，以支持跨语言检索。
• 记忆检索器使用可微分神经网络基于跨语言相似性计算检索得分，这些得分随后用于调整神经机器翻译模型中的注意力机制。
• 将检索得分整合至注意力机制中，使翻译目标的梯度能够反向传播至检索器。
• 采用基于交叉对齐任务的冷启动策略，以缓解训练初期的冷启动问题。
• 通过在推理时切换翻译记忆源而无需微调，支持推理时的领域自适应。
• 使用FAISS进行高效向量搜索，实现在大规模单语记忆库上的快速推理。

实验结果

研究问题

• RQ1 在不依赖源-目标双语对的情况下，能否有效利用目标语单语数据作为神经机器翻译中的翻译记忆？
• RQ2 可学习的、端到端可微分的记忆检索器是否能优于基于启发式规则的非可学习检索方法（如BM25）？
• RQ3 在双语数据稀缺的低资源场景中，利用单语翻译记忆是否能提升翻译性能？
• RQ4 通过在推理时切换单语翻译记忆源，能否在不重新训练的情况下实现对新领域的模型适应？

主要发现

• 所提出的模型优于使用双语翻译记忆的强基线模型，在多个数据集上达到新的最先进性能。
• 在低资源场景中，通过利用训练平行对中未包含的额外目标语单语数据，模型实现了显著性能提升。
• 领域适应性能显著增强：与非翻译记忆基线相比，模型在五个领域上的平均BLEU得分提升1.85点，其中法律领域提升达2.57点，医学领域达2.51点。
• 模型推理延迟仅为基线的1.36倍，快于之前的最先进模型（1.80倍），同时训练成本与基线相当（2.62–2.76倍）。
• 在训练步数上，该模型收敛速度优于标准神经机器翻译模型，表明优化效率更高。
• 当组合使用不同领域的翻译记忆时，性能未出现显著提升，表明域外记忆的效用较低，而领域内记忆更具优势。