[论文解读] Search Engine Guided Non-Parametric Neural Machine Translation

Jiatao Gu, Yong Wang+2 more|arXiv (Cornell University)|May 20, 2017

Natural Language Processing Techniques参考文献 40被引用 34

一句话总结

本文提出搜索引擎引导的神经机器翻译（SEG-NMT），这是一种基于注意力机制的NMT的非参数化扩展方法，通过黑箱搜索引擎检索相关训练句对，并在解码过程中将这些句对与源句融合。该方法显著提升了翻译质量——尤其在高质量检索条件下，其在En-Fr和En-De方向上相比强基线模型最高提升了5.21 BLEU分。

ABSTRACT

In this paper, we extend an attention-based neural machine translation (NMT) model by allowing it to access an entire training set of parallel sentence pairs even after training. The proposed approach consists of two stages. In the first stage--retrieval stage--, an off-the-shelf, black-box search engine is used to retrieve a small subset of sentence pairs from a training set given a source sentence. These pairs are further filtered based on a fuzzy matching score based on edit distance. In the second stage--translation stage--, a novel translation model, called translation memory enhanced NMT (TM-NMT), seamlessly uses both the source sentence and a set of retrieved sentence pairs to perform the translation. Empirical evaluation on three language pairs (En-Fr, En-De, and En-Es) shows that the proposed approach significantly outperforms the baseline approach and the improvement is more significant when more relevant sentence pairs were retrieved.

研究动机与目标

• 通过在训练后仍能访问完整并行句对训练集，扩展神经机器翻译，提升翻译质量，实现基于检索的知识注入。
• 通过集成现成的搜索引擎，解决大规模并行语料的可扩展性挑战，实现对相关训练样本的高效检索。
• 设计一种神经翻译模型，能够无缝融合输入源句与一组检索到的源-目标句对的信息，以提升翻译的一致性与准确性。
• 在JRC-Acquis法律语料库的领域特定设置下，评估检索增强型NMT的有效性，涵盖多个语言对。
• 研究检索质量与检索句对数量对翻译性能的影响，特别是在低资源或领域特定场景下的表现。

提出的方法

• 利用现成的、黑箱的搜索引擎，基于输入的源句从大规模并行语料库中检索出一小部分相关训练句对。
• 基于编辑距离的模糊匹配分数对检索到的句对进行过滤与精炼，确保其与输入源句的相关性。
• 采用一种新颖的翻译模型SEG-NMT，通过门控机制（公式6）实现浅层融合，同时关注源句与检索到的句对的两路信息流。
• 采用双注意力机制：一路用于标准的编码器-解码器注意力机制，关注源句；另一路通过键-值记忆结构关注检索到的目标侧标记。
• 实施一种贪心选择算法（算法1），在推理过程中自适应选择最相关的检索句对，以优化检索质量。
• 采用固定大小的记忆缓冲区存储检索到的句对，并通过预处理预先为所有训练句对填充内存，从而最小化运行时开销。

实验结果

研究问题

• RQ1 神经机器翻译系统是否能通过检索相关句对而非仅依赖训练好的模型，在推理阶段有效利用完整的训练语料？
• RQ2 检索到的训练句对质量（以模糊匹配分数衡量）如何影响所提模型的翻译性能？
• RQ3 为最大化翻译质量，最优的检索翻译句对数量是多少？性能是否会因过度或无关的检索而下降？
• RQ4 所提出的浅层融合机制与深层融合相比，在翻译质量与鲁棒性方面表现如何？
• RQ5 与标准注意力机制NMT相比，检索增强模型在多大程度上提升了翻译的一致性与词汇选择能力？

主要发现

• 所提出的SEG-NMT模型在En-Fr方向上相比基线模型BLEU分数提升5.21分，在En-De方向上提升4.95分，充分证明了检索增强翻译的显著增益。
• 随着检索句对数量的增加，翻译质量在约四个句对时达到峰值，之后因引入不相关句对而开始下降。
• 最佳性能由所提出的贪心选择算法（算法1）实现，该算法在每次推理中平均检索到4.814个相关句对，最大化信息利用效率。
• 浅层融合（公式6）显著优于深层融合，BLEU提升达5.21和4.95分，表明门控机制能有效平衡源句与检索信息。
• 模型展现出更优的词汇一致性，常采用检索句对中的词汇与表达方式——例如，当检索句对中出现"exact"一词时，会将"précis"译为"exact"，从而生成更连贯且与语料一致的翻译。
• 检索阶段计算开销可忽略不计（每次查询仅数毫秒），且翻译阶段的复杂度保持恒定，因检索句对数量被限制在固定范围内，使系统在实际部署中高效且实用。