[论文解读] Trainable Greedy Decoding for Neural Machine Translation

Jiatao Gu, Kyunghyun Cho+1 more|arXiv (Cornell University)|Feb 8, 2017

Natural Language Processing Techniques参考文献 33被引用 14

一句话总结

本文提出可训练的贪心解码用于神经机器翻译，其中一个小的神经网络智能体通过观察并修改解码器的隐藏状态来学习提升翻译质量。该方法通过一种考虑评论者（critic-aware）的确定性策略梯度进行训练，以最小的计算开销提升目标解码目标，如BLEU或困惑度，在四种语言对的两个目标上均优于标准贪心解码和束搜索。

ABSTRACT

Recent research in neural machine translation has largely focused on two aspects; neural network architectures and end-to-end learning algorithms. The problem of decoding, however, has received relatively little attention from the research community. In this paper, we solely focus on the problem of decoding given a trained neural machine translation model. Instead of trying to build a new decoding algorithm for any specific decoding objective, we propose the idea of trainable decoding algorithm in which we train a decoding algorithm to find a translation that maximizes an arbitrary decoding objective. More specifically, we design an actor that observes and manipulates the hidden state of the neural machine translation decoder and propose to train it using a variant of deterministic policy gradient. We extensively evaluate the proposed algorithm using four language pairs and two decoding objectives and show that we can indeed train a trainable greedy decoder that generates a better translation (in terms of a target decoding objective) with minimal computational overhead.

研究动机与目标

• 为解决尽管在模型架构和训练方面取得显著进展，但神经机器翻译中的解码问题仍研究不足的问题。
• 开发一种通用的、可训练的解码算法，可在不重新训练主模型的前提下优化任意解码目标。
• 通过学习动态解码策略，提升翻译质量，超越标准贪心解码或束搜索。
• 通过训练一个轻量级智能体，实现高效推理，计算成本可忽略不计。

提出的方法

• 一个可训练的智能体网络观察并操控预训练神经机器翻译解码器的隐藏状态。
• 该智能体使用一种确定性策略梯度的变体进行训练，具体为考虑评论者的智能体学习方法，以最大化目标解码目标。
• 评论者估计智能体所采取动作的期望回报，从而实现稳定的策略优化。
• 该方法在训练后应用，无需重新训练主翻译模型。
• 智能体规模小且浅层，确保推理时计算开销极低。
• 该方法具有通用性，适用于任何具有循环解码器的序列建模任务。

实验结果

研究问题

• RQ1 能否学习一种可训练的解码算法，以在超越标准贪心或束搜索的基础上提升翻译质量？
• RQ2 训练解码器以优化特定目标（如BLEU或困惑度）是否能在翻译输出中带来可测量的改进？
• RQ3 轻量级智能体网络能否有效操控预训练模型的隐藏状态以改善解码？
• RQ4 考虑评论者的智能体学习方法是否足够稳定和高效，足以在多个语言对上成功训练16个智能体？
• RQ5 训练后的智能体是否不仅能提升贪心解码性能，还能提升束搜索性能？

主要发现

• 当训练目标为优化BLEU或负困惑度时，可训练的贪心解码器在BLEU和负困惑度上均取得显著提升，证实了该方法的有效性。
• 当以句级BLEU为目标进行训练时，该方法提升了BLEU分数，但通常导致困惑度下降；反之，当以困惑度为目标训练时，BLEU通常下降，验证了目标特定优化的有效性。
• 即使在束搜索中使用，训练后的智能体也带来了统计上显著的BLEU提升，结果中标记为红色星号。
• 由于智能体网络规模小，且训练后移除了评论者，该方法引入的计算开销可忽略不计。
• 考虑评论者的智能体学习方法稳定了训练过程，成功实现了在八个语言对方向上的16个智能体的训练。
• 人工分析表明，智能体专注于纠正介词错误并消除不必要的标记生成，表明其在解码过程中进行了有意义的干预。