[论文解读] Towards Decoding as Continuous Optimization in Neural Machine Translation

Cong Duy Vu Hoang, Gholamreza Haffari+1 more|arXiv (Cornell University)|Jan 11, 2017

Natural Language Processing Techniques参考文献 27被引用 6

一句话总结

本文提出了一种神经机器翻译（NMT）解码的连续优化框架，将离散序列生成重新表述为带有约束的连续优化问题。通过放松对标记预测的整数约束，并使用随机梯度下降（SGD）和指数梯度（EG）算法，该方法实现了对难以处理的模型（如左右双向或源到目标与目标到源NMT模型的交集）的有效解码，相较于贪婪搜索和束搜索，显著提升了翻译质量。

ABSTRACT

We propose a novel decoding approach for neural machine translation (NMT) based on continuous optimisation. We convert decoding - basically a discrete optimization problem - into a continuous optimization problem. The resulting constrained continuous optimisation problem is then tackled using gradient-based methods. Our powerful decoding framework enables decoding intractable models such as the intersection of left-to-right and right-to-left (bidirectional) as well as source-to-target and target-to-source (bilingual) NMT models. Our empirical results show that our decoding framework is effective, and leads to substantial improvements in translations generated from the intersected models where the typical greedy or beam search is not feasible. We also compare our framework against reranking, and analyse its advantages and disadvantages.

研究动机与目标

• 解决贪婪搜索和束搜索等启发式解码方法在神经机器翻译中的局限性。
• 实现对不遵循标准从左到右生成顺序的复杂、全局约束NMT模型的有效解码。
• 将序列解码表述为连续优化问题，放松对标记预测的离散约束。
• 开发并评估基于梯度的优化技术——SGD和EG——用于NMT中的推理。
• 在交集NMT模型（如双向或双语组合）上展示连续解码的有效性。

提出的方法

• 通过放松对预测标记的一对一根约束，将离散NMT解码重新表述为连续优化问题，允许在概率单纯形内进行软分配。
• 基于NMT模型的对数似然定义一个连续目标函数，该函数在概率单纯形约束下进行优化。
• 在推理过程中应用随机梯度下降（SGD）和指数梯度（EG）算法求解连续优化问题。
• 使用EG算法迭代更新标记概率，通过归一化和基于梯度的更新保持可行性。
• 通过在多个生成顺序上联合优化，整合全局约束（如从左到右和从右到左模型的交集）。
• 独立训练不同生成方向（如从左到右和从右到左）的NMT模型，然后通过连续解码框架进行结合。

实验结果

研究问题

• RQ1 连续优化能否在NMT中有效替代启发式解码，特别是在具有复杂全局约束的模型中？
• RQ2 与传统的束搜索相比，SGD和EG在连续解码中的翻译质量与收敛性表现如何？
• RQ3 所提出的框架能否解码标准贪婪或束搜索失效的交集NMT模型（如双向或双语组合）？
• RQ4 在结合从左到右和从右到左模型时，连续解码对翻译质量与多样性有何影响？
• RQ5 与重排序方法相比，连续解码框架在性能与计算效率方面如何？

主要发现

• 连续优化框架能够有效解码交集NMT模型（如从左到右与从右到左的组合），而传统贪婪或束搜索在此类模型上不可行。
• 指数梯度（EG）算法在解码质量上优于随机梯度下降（SGD），展现出更优的收敛性与稳定性。
• 在中英和德英翻译任务上的实证结果表明，与基线解码方法相比，交集模型的BLEU分数显著提升。
• 在结合双向或双语NMT模型时，该框架在搜索误差与端到端翻译质量方面均实现了稳定提升。
• 该方法成功处理了如模型交集等全局约束，相比标准启发式解码，能够生成更多样化且更准确的翻译。
• 与重排序方法相比，连续解码框架提供了更系统化、统一的全局模型组合方法，在复杂模型集成上表现更优。