[论文解读] Prior Knowledge Integration for Neural Machine Translation using Posterior Regularization

Jiacheng Zhang, Yang Liu+3 more|arXiv (Cornell University)|Nov 2, 2018

Natural Language Processing Techniques参考文献 16被引用 13

一句话总结

本文提出了一种后验正则化框架，通过可微的对数线性模型将多种重叠的、任意的先验知识源（如双语词典和短语表）整合到神经机器翻译（NMT）中。通过将先验知识建模为实值特征并基于KL散度进行优化，该方法显著提升了翻译质量，在中英翻译基准上优于标准NMT和以往的后验正则化方法。

ABSTRACT

Although neural machine translation has made significant progress recently, how to integrate multiple overlapping, arbitrary prior knowledge sources remains a challenge. In this work, we propose to use posterior regularization to provide a general framework for integrating prior knowledge into neural machine translation. We represent prior knowledge sources as features in a log-linear model, which guides the learning process of the neural translation model. Experiments on Chinese-English translation show that our approach leads to significant improvements.

研究动机与目标

• 为解决将多种重叠的、任意的先验知识源整合到端到端神经机器翻译中的挑战。
• 克服现有方法的局限性，这些方法要么修改模型架构，要么使用受限于简单约束的加性损失项。
• 提供一种通用、灵活且可微的框架，在保持原始NMT架构的同时，通过先验知识引导学习过程。
• 通过整合符号知识（如双语词典、短语表和覆盖率约束）来提升翻译质量。

提出的方法

• 将先验知识源表示为对数线性模型中的实值特征，以引导NMT模型的后验分布。
• 使用后验正则化结合对数线性模型，而非受限的后验集合，以实现可微、高效的训练。
• 通过最小化模型后验与由对数线性模型定义的目标后验之间的KL散度来优化NMT模型。
• 在训练过程中整合双语词典（BD）、短语表（PT）、覆盖率惩罚（CP）和长度比（LR）等特征作为软约束。
• 通过可微目标函数联合训练NMT模型与对数线性先验模型，同时保持模型透明性。
• 在n-best列表上应用基于先验知识特征的重排序，以进一步提升解码质量。

实验结果

研究问题

• RQ1 一种通用框架能否在不修改模型架构的前提下，有效整合多种重叠的、任意的先验知识源到端到端NMT中？
• RQ2 与受限后验集合相比，使用对数线性模型进行后验正则化在训练稳定性和翻译性能方面有何差异？
• RQ3 不同类型的先验知识（如双语词典、短语表和覆盖率约束）在多大程度上促进了翻译质量的提升？
• RQ4 在训练期间整合先验知识是否比仅在解码阶段应用能获得更好的结果？

主要发现

• 所提方法在NIST中英测试集上达到30.76的BLEU分数，显著优于RNNSearch（29.72）和使用受限后验的PostReg方法。
• 双语词典（BD）特征对性能提升贡献最大，证明了词级先验知识的价值。
• 结合多种特征仅带来适度改进，可能是因为BD与PT在单个词对上的特征存在重叠。
• 通过先验知识特征进行重排序可提升翻译质量，证实了通过后验正则化实现间接监督的有效性。
• 当从预训练的RNNSearch模型初始化时，模型约在10万次迭代内收敛，单张GPU上每次迭代的推理速度降低约1.5倍。
• 示例翻译显示，BD和CP特征可减少遗漏和未翻译词汇，而LR和PT特征有助于控制长度和短语连贯性。