[论文解读] One Sentence One Model for Neural Machine Translation

Xiaoqing Li, Jiajun Zhang+1 more|arXiv (Cornell University)|Sep 21, 2016

Natural Language Processing Techniques参考文献 24被引用 22

一句话总结

本文提出一种动态神经机器翻译（NMT）方法，通过在推理时针对每个测试句，利用少量语义相似的训练数据子集对通用NMT模型进行在线微调，从而实现显著的BLEU提升——最高达10点，尤其在存在高度相似训练样本时效果更佳，且无需修改底层NMT架构。

ABSTRACT

Neural machine translation (NMT) becomes a new state-of-the-art and achieves promising translation results using a simple encoder-decoder neural network. This neural network is trained once on the parallel corpus and the fixed network is used to translate all the test sentences. We argue that the general fixed network cannot best fit the specific test sentences. In this paper, we propose the dynamic NMT which learns a general network as usual, and then fine-tunes the network for each test sentence. The fine-tune work is done on a small set of the bilingual training data that is obtained through similarity search according to the test sentence. Extensive experiments demonstrate that this method can significantly improve the translation performance, especially when highly similar sentences are available.

研究动机与目标

• 解决固定参数NMT模型无法针对单个测试句进行自适应的问题。
• 通过针对每个测试句实现模型个性化，提升翻译质量。
• 探究利用相似训练样本是否能够超越静态模型推理，提升翻译性能。
• 开发一种高效、与模型无关的方法，在不改变网络架构的前提下提升NMT性能。

提出的方法

• 使用标准端到端训练方法，在完整并行训练语料上预训练一个通用NMT模型。
• 对于每个测试句，使用基于字符串或隐藏表示的相似性度量方法，从训练数据中检索语义相似的源句。
• 选取最相似的句子对子集，对预训练模型进行微调，以专门适应该测试句。
• 通过有限数量的相似样本进行在线微调，模型参数在解码前完成更新。
• 利用倒排索引加速相似性搜索，以确保在大规模训练数据下的效率。
• 该方法与模型无关，可应用于任意基于编码器-解码器框架并使用注意力机制的NMT系统。

实验结果

研究问题

• RQ1 通过使用相似训练样本进行在线微调，是否能够超越固定参数NMT模型的翻译性能？
• RQ2 测试句与训练样本之间的相似度水平如何影响性能提升？
• RQ3 用于微调的相似句子数量应如何选择，以在性能与效率之间取得最佳平衡？
• RQ4 该方法能否在不显著增加解码时间的前提下，高效扩展至大规模训练语料？
• RQ5 该方法在不同数据分布和相似性度量方式下是否具备泛化能力？

主要发现

• 当存在高度相似的句子时，该方法在三个测试集上平均提升1.2 BLEU点。
• 当检索到非常相似的句子（相似度0.4–1.0）时，性能提升可超过10 BLEU点。
• 使用基于短语覆盖的相似性搜索方法，可将微调句子的平均数量减少至31组，相比使用128组句子，解码时间几乎减半。
• 当用于微调的句子数不超过32组时，时间开销保持在基线的两倍以内；使用128组时，时间开销增至基线的四倍。
• 即使在低相似度场景下，该方法仍优于基线NMT模型，表明其在不同相似度水平下均具备鲁棒性。
• 使用编辑距离进行检索速度最慢，但仍不足解码时间的三分之一，且倒排索引确保了高效的相似性搜索。