[论文解读] Top-down Tree Structured Decoding with Syntactic Connections for Neural Machine Translation and Parsing

Jetic Gū, Hassan S. Shavarani+1 more|arXiv (Cornell University)|Sep 6, 2018

Natural Language Processing Techniques参考文献 35被引用 4

一句话总结

本文提出Seq2DRNN，一种基于DRNN解码的自顶向下树状结构神经机器翻译模型，结合语法感知注意力机制与句法连接（SynC），以提升流畅性与词序重排能力。通过联合建模翻译与短语结构句法，该模型在翻译质量上达到当前最优水平，并展现出具有竞争力的成分解析性能。

ABSTRACT

The addition of syntax-aware decoding in Neural Machine Translation (NMT) systems requires an effective tree-structured neural network, a syntax-aware attention model and a language generation model that is sensitive to sentence structure. We exploit a top-down tree-structured model called DRNN (Doubly-Recurrent Neural Networks) first proposed by Alvarez-Melis and Jaakola (2017) to create an NMT model called Seq2DRNN that combines a sequential encoder with tree-structured decoding augmented with a syntax-aware attention model. Unlike previous approaches to syntax-based NMT which use dependency parsing models our method uses constituency parsing which we argue provides useful information for translation. In addition, we use the syntactic structure of the sentence to add new connections to the tree-structured decoder neural network (Seq2DRNN+SynC). We compare our NMT model with sequential and state of the art syntax-based NMT models and show that our model produces more fluent translations with better reordering. Since our model is capable of doing translation and constituency parsing at the same time we also compare our parsing accuracy against other neural parsing models.

研究动机与目标

• 通过在解码过程中引入目标端成分解析结构，提升神经机器翻译（NMT）的流畅性与词序重排能力。
• 针对现有语法感知NMT模型依赖自底向上解码或依存解析的局限性，提出一种自顶向下、树状结构的解码器。
• 探索使用成分解析（短语结构）而非依存解析，在引导NMT解码与提升翻译质量方面的有效性。
• 开发一个统一模型，同时实现高质量的神经机器翻译与成分解析，且无需额外的解析头。
• 引入句法连接（SynC），通过在隐藏状态转移中直接整合结构化句法信息，增强DRNN解码器。

提出的方法

• 使用双向LSTM编码器生成源句的上下文表征。
• 采用基于双重循环神经网络（DRNN）的自顶向下树状结构解码器，以分层、短语结构感知的方式生成目标序列。
• 引入语法感知注意力机制，利用成分解析树引导对源表示的注意力。
• 在DRNN解码器中添加句法连接（SynC），通过额外的循环连接实现句法结构信息在隐藏状态间的直接传播。
• 使用标准NMT目标函数（交叉熵损失）进行端到端训练，同时联合优化翻译与解析性能。
• 在域内（IWSLT）与域外（Penn Treebank）数据集上，使用标准成分解析指标（精确率、召回率、F1）评估解析性能。

实验结果

研究问题

• RQ1 与标准序列模型及语法感知模型相比，基于成分解析的自顶向下树状结构解码器是否能提升神经机器翻译质量？
• RQ2 在基于DRNN的解码器中引入句法连接（SynC）是否能增强翻译的流畅性与词序重排能力？
• RQ3 单一模型能否在不依赖独立解析头的情况下，同时实现高质量的神经机器翻译与成分解析？
• RQ4 在引导NMT解码方面，基于成分的句法结构与基于依存的句法结构相比，其在结构一致性与词序重排方面的表现如何？
• RQ5 引入SynC连接在多大程度上提升了解析准确率，同时保持强大的翻译性能？

主要发现

• Seq2DRNN+SynC在无标签成分解析（IWSLT）上达到96.16的F1分数，优于基线模型Seq2DRNN（96.90的无标签跨度F1），表明其具备强大的解析能力。
• 在词数少于40个的句子中，模型实现了52.16%的精确匹配率，表明其翻译输出具有较高的结构保真度。
• Seq2DRNN+SynC生成的翻译比强基线Seq2Seq模型及多个当前最优的语法感知NMT模型更具流畅性，尤其在重排复杂句法结构方面表现突出。
• 模型在长句解析上达到90.5的F1分数，显示出对长度变化的鲁棒性与强大的泛化能力。
• 尽管SynC的引入略微降低了解析F1（96.16 vs. 96.90），但显著提升了翻译质量与重排能力，表明在NMT任务中实现了有利的权衡。
• 模型在Penn Treebank成分解析任务上表现出色（F1: 87.04），证实其作为联合NMT与解析系统的强大能力。