[论文解读] Neural Machine Translation with External Phrase Memory

Yaohua Tang, Fandong Meng+3 more|arXiv (Cornell University)|Jun 6, 2016

Natural Language Processing Techniques参考文献 15被引用 53

一句话总结

本文提出 phraseNet，一种将外部短语记忆（存储双语短语对）集成到神经机器翻译模型中的神经机器翻译模型，以提升翻译质量。通过门控机制结合词级与短语级生成，phraseNet 在中英翻译任务上相较标准 NMT 模型实现了 3.45 的 BLEU 提升，证明了符号知识在序列到序列模型中的有效整合。

ABSTRACT

In this paper, we propose phraseNet, a neural machine translator with a phrase memory which stores phrase pairs in symbolic form, mined from corpus or specified by human experts. For any given source sentence, phraseNet scans the phrase memory to determine the candidate phrase pairs and integrates tagging information in the representation of source sentence accordingly. The decoder utilizes a mixture of word-generating component and phrase-generating component, with a specifically designed strategy to generate a sequence of multiple words all at once. The phraseNet not only approaches one step towards incorporating external knowledge into neural machine translation, but also makes an effort to extend the word-by-word generation mechanism of recurrent neural network. Our empirical study on Chinese-to-English translation shows that, with carefully-chosen phrase table in memory, phraseNet yields 3.45 BLEU improvement over the generic neural machine translator.

研究动机与目标

• 将符号化的、由人工或语料库提取的短语对作为外部知识整合进神经机器翻译模型。
• 通过支持多词短语生成，将标准 RNN 基础的序列到序列生成机制从逐词解码扩展至更高级别的生成能力。
• 设计一种可微分、端到端可训练的机制，动态选择并生成短语，同时保持 RNN 隐藏状态的一致性。
• 评估短语记忆在提升翻译流畅性与准确性方面的有效性，特别是对罕见词或 OOV（词汇表外）词的处理。
• 探究在低资源或 OOV 场景下，短语级知识是否能超越单纯扩大词表的效果。

提出的方法

• 该模型使用一个包含从平行语料库中挖掘出的符号化短语对，或由专家提供的短语对的短语记忆。
• 编码器使用双向 RNN 处理源句，同时扫描短语记忆，为源表示打上相关短语候选的标签。
• 解码器采用两种模式的混合：词生成模式与短语生成模式，通过门控机制（phraseNet 门）或 Softmax 混合（phraseNet Softmax）决定每一步的生成类型。
• 在生成一个多词短语后，解码器执行一次“空转运行”以保持不同模式间 RNN 隐藏状态的一致性。
• 注意力机制被调整以融入短语级上下文，解码器使用结合编码后的源表示与对短语记忆注意力计算得到的上下文向量。
• 模型通过反向传播进行端到端训练，目标函数为在目标词表与短语表上的交叉熵损失。

实验结果

研究问题

• RQ1 外部符号化短语知识是否能超越标准 NMT 架构，提升神经机器翻译性能？
• RQ2 混合词-短语生成机制是否在 BLEU 与流畅性方面优于纯逐词解码？
• RQ3 短语记忆的集成如何影响 OOV（词汇表外）词的处理？
• RQ4 不同的混合建模策略（门控 vs. Softmax）对短语生成与整体翻译质量有何影响？
• RQ5 phraseNet 是否能将短语生成在输出序列的正确位置，而不仅仅是提升 n-gram 重叠度？

主要发现

• phraseNet 门在中英翻译任务上相较基线 RNNsearch 模型平均实现 3.45 的 BLEU 提升。
• phraseNet Softmax 在相同基线模型上实现 2.13 的 BLEU 提升，表明其效果稳定但低于门控变体。
• 该模型显著优于使用 30K 词表的 RNNsearch（落后 1.65 BLEU），表明短语记忆提供的知识比单纯扩大词表更有效。
• 在 4-gram BLEU 评估中，phraseNet 门达到平均 16.47 分，而 RNNsearch 为 14.97，证实短语被正确生成于输出序列中的合适位置，而非仅提升 n-gram 重叠。
• 案例研究显示，即使源词为 OOV，phraseNet 门仍能正确翻译短语，并在词生成与短语生成模式间保持平衡且灵活的切换。
• 该模型在处理常见短语时表现出鲁棒性，即使未选择短语模式，也能有效回退至词模式并正确生成短语，表明其具备有效的词模式回退机制。