[论文解读] Towards Bidirectional Hierarchical Representations for Attention-Based Neural Machine Translation

Baosong Yang, Derek F. Wong+3 more|arXiv (Cornell University)|Jul 17, 2017

Natural Language Processing Techniques参考文献 15被引用 10

一句话总结

本文提出了一种双向层次注意力神经机器翻译模型，通过基于树结构的编码器整合局部和全局句法上下文，增强源端表示。通过结合双向RNN与自顶向下和自底向上的编码方式，并使用加权注意力机制平衡词与短语的贡献，该模型在英中翻译任务中显著提升了翻译性能，尤其在罕见词和未登录词（OOV）上表现更优。

ABSTRACT

This paper proposes a hierarchical attentional neural translation model which focuses on enhancing source-side hierarchical representations by covering both local and global semantic information using a bidirectional tree-based encoder. To maximize the predictive likelihood of target words, a weighted variant of an attention mechanism is used to balance the attentive information between lexical and phrase vectors. Using a tree-based rare word encoding, the proposed model is extended to sub-word level to alleviate the out-of-vocabulary (OOV) problem. Empirical results reveal that the proposed model significantly outperforms sequence-to-sequence attention-based and tree-based neural translation models in English-Chinese translation tasks.

研究动机与目标

• 解决序列模型在神经机器翻译中捕捉句法结构与长距离依赖的局限性。
• 克服现有基于树的编码器存在的局部上下文偏差，即未能整合全局句子级上下文。
• 通过使用BPE将模型扩展到子词级别，提升罕见词与未登录词（OOV）的翻译质量。
• 通过根据上下文动态加权词法与短语级表示，增强注意力机制。
• 开发一种层次编码器，通过自顶向下与自底向上双向编码，同时捕捉短语与词的语义。

提出的方法

• 在词法层面采用双向RNN，生成编码前后文信息的词表示。
• 设计一种双向基于树的编码器，同时执行自底向上（短语级）与自顶向下（句子级）编码，以丰富层次化表示。
• 引入一种带时间依赖门控标量的加权基于树的注意力机制，以平衡词向量与短语向量之间的信息流动。
• 将字节对编码（BPE）集成到基于树的模型中，生成子词单元，降低未登录词问题。
• 使用基于注意力的编码器-解码器框架，通过交叉熵损失端到端训练模型，以最大化预测似然。
• 利用句法树组织编码过程，确保短语与词的表示基于层次依赖关系构建。

实验结果

研究问题

• RQ1 通过同时捕捉局部短语级与全局句子级上下文，双向层次编码器是否能提升翻译性能？
• RQ2 在自底向上编码的基础上引入自顶向下编码，对NMT中短语与词表示的质量有何影响？
• RQ3 加权注意力机制在动态平衡词法与短语级信息方面，能在多大程度上提升翻译质量？
• RQ4 通过BPE将基于树的模型扩展到子词级别，是否能在不降低翻译质量的前提下减少未登录词问题？
• RQ5 与标准序列到序列模型及原始基于树的NMT模型相比，该模型在BLEU分数与语义准确性方面表现如何？

主要发现

• 该模型在NIST英中翻译任务中，显著优于Eriguchi等人（2016）的基线基于树的模型与Bahdanau等人（2015）的序列到序列模型。
• 模型能正确将歧义短语'areas outside'翻译为'以外的地区'（意为‘以外的地区’），而基线基于树的模型错误地将其译为'境外'（意为‘国外’），表明其具备更优的上下文理解能力。
• 对于子词单元如'hi/k/ed'，层次模型正确翻译为'上升'（意为‘rise’），而序列模型则生成'发生'（意为‘happened’），显示出在短语级语义捕捉上的优越性。
• 通过BPE驱动的子词编码，模型能有效处理罕见词，即使在低频或未见形式下仍保持高翻译准确率。
• 加权注意力机制实现了对信息流动的动态控制，提升了注意力对齐效果与翻译流畅性。
• 双向层次编码器比单向模型更有效地捕捉长距离与短距离依赖，从而生成更准确且上下文恰当的翻译结果。