[论文解读] Tree-to-Sequence Attentional Neural Machine Translation

Akiko Eriguchi, Kazuma Hashimoto+1 more|arXiv (Cornell University)|Mar 19, 2016

Natural Language Processing Techniques参考文献 27被引用 41

一句话总结

本文提出了一种树-序列注意力神经机器翻译模型，通过树-LSTM编码器在源端引入短语结构，从而在序列到序列NMT的基础上实现改进。通过实现目标词与源词及短语之间的软对齐，该模型在WAT’15英语-日语翻译任务中达到最先进性能，优于标准注意力NMT，并与最佳的树-字符串统计机器翻译系统相当。

ABSTRACT

Most of the existing Neural Machine Translation (NMT) models focus on the conversion of sequential data and do not directly use syntactic information. We propose a novel end-to-end syntactic NMT model, extending a sequence-to-sequence model with the source-side phrase structure. Our model has an attention mechanism that enables the decoder to generate a translated word while softly aligning it with phrases as well as words of the source sentence. Experimental results on the WAT'15 English-to-Japanese dataset demonstrate that our proposed model considerably outperforms sequence-to-sequence attentional NMT models and compares favorably with the state-of-the-art tree-to-string SMT system.

研究动机与目标

• 为解决标准NMT模型在处理结构差异较大的语言对（如英语-日语）时，难以实现短语级对齐的局限性。
• 将短语结构树中的句法结构整合到NMT框架中，以改善词与短语的对齐。
• 扩展标准注意力机制，使其不仅能与单个源词对齐，还能与句法短语对齐。
• 评估通过树形编码器引入显式句法结构是否能提升相对于标准序列编码器的翻译质量。
• 证明短语感知注意力可带来更准确且上下文恰当的翻译，尤其在多词表达方面。

提出的方法

• 该模型使用树-LSTM编码器，基于句法解析树以自底向上、递归的方式处理源句，联合编码短语和词。
• 解析树中的每个节点由一个树-LSTM单元表示，该单元聚合其子节点的信息，实现句法成分的层次化编码。
• 解码器使用注意力机制，计算目标隐藏状态与所有源节点（词和短语）之间的对齐得分，而不仅限于单个词。
• 注意力权重在所有源节点上计算，使解码器可根据上下文关注相关短语或词，对齐结果以概率分布形式表达。
• 模型通过交叉熵损失端到端训练，推理时使用束搜索生成最终翻译。
• 注意力机制能根据当前解码状态动态聚焦于相关句法单元，如名词短语或动词短语。

实验结果

研究问题

• RQ1 在NMT模型中引入句法短语结构是否能提升结构差异较大的语言对（如英语-日语）的翻译性能？
• RQ2 基于树的编码器配合短语感知注意力是否能实现比标准词级注意力更优的源短语与目标词对齐？
• RQ3 该模型能否在性能上与使用句法结构的最先进统计机器翻译系统相媲美或超越？
• RQ4 该模型如何处理多词表达和零翻译（如未直接翻译的冠词或介词）？
• RQ5 注意力权重在多大程度上反映了有意义的句法对齐，例如将'a cup of green tea'映射到'緑茶'？

主要发现

• 所提出的树-序列NMT模型在WAT’15英语-日语翻译数据集上取得了最佳RIBES分数，优于标准序列到序列注意力NMT模型。
• 该模型在翻译多词表达方面表现更优，例如能将'a cup of green tea'与单个日语词'緑茶'对齐。
• 注意力可视化显示，模型能为整个短语分配高注意力得分，例如'liquid crystal for active matrix'被对齐至'液晶'。
• 模型学会了将功能词和介词与相关短语对齐，例如'of'被对齐至'Si dot MOS capacitor'。
• 模型生成了基于同义词的翻译（如用'活性'代替'アクティブ'），尽管BLEU得分因此被惩罚，但人工评估认为可接受，表明其在语义对齐上的鲁棒性。
• 该模型在性能上与最先进树-字符串SMT系统相当，证明了结合句法结构的神经模型具有可行性。