[论文解读] Recurrent Graph Syntax Encoder for Neural Machine Translation

Liang Ding, Dacheng Tao|arXiv (Cornell University)|Aug 19, 2019

Topic Modeling参考文献 42被引用 8

一句话总结

本文提出了一种新型图结构编码器——循环图语法编码器（RGSE），通过将RNN单元视为图节点、句法依赖关系视为边，整合句法依赖与词序序列信息。RGSE在WMT14 En-De和En-Cs翻译任务中显著提升了循环神经网络与Transformer模型的性能，实现了当前最优结果，尤其在长序列建模与语义保留方面表现优异。

ABSTRACT

Syntax-incorporated machine translation models have been proven successful in improving the model's reasoning and meaning preservation ability. In this paper, we propose a simple yet effective graph-structured encoder, the Recurrent Graph Syntax Encoder, dubbed extbf{RGSE}, which enhances the ability to capture useful syntactic information. The RGSE is done over a standard encoder (recurrent or self-attention encoder), regarding recurrent network units as graph nodes and injects syntactic dependencies as edges, such that RGSE models syntactic dependencies and sequential information ( extit{i.e.}, word order) simultaneously. Our approach achieves considerable improvements over several syntax-aware NMT models in English$\Rightarrow$German and English$\Rightarrow$Czech translation tasks. And RGSE-equipped big model obtains competitive result compared with the state-of-the-art model in WMT14 En-De task. Extensive analysis further verifies that RGSE could benefit long sentence modeling, and produces better translations.

研究动机与目标

• 为解决现有句法感知神经机器翻译模型在同时捕捉句法依赖与序列词序方面的局限性。
• 通过灵活、模块化的图结构架构，为神经机器翻译模型引入显式的句法归纳偏置。
• 通过在图结构编码器中利用循环依赖关系，提升长序列翻译性能。
• 实现句法信息在现代Transformer模型中的有效集成，尤其在句法建模能力较弱的底层层中。
• 开发一种即插即用的组件，可在不改变网络架构的前提下，同时增强循环与自注意力编码器。

提出的方法

• RGSE将标准编码器中的每个RNN单元视为图节点，句法依存分析器生成的句法依赖关系作为节点之间的有向边。
• RGSE中的每个节点聚合其父节点（句法从属成分）的隐藏状态及其自身的前一时刻隐藏状态，从而实现句法与序列顺序的联合建模。
• 模型采用门控残差连接以稳定训练过程并加速收敛，尤其在深层网络中效果显著。
• 在Transformer中，RGSE替代底层的自注意力机制，在保留句法归纳偏置的同时，维持高层的注意力容量。
• 通过逐边集成方式，使注意力解码器能够选择性关注句法相关的源词，从而提升词预测与语义保留能力。
• 该方法支持单向与双向依赖注入，消融实验证明在主谓宾语言中，未来依赖信息更具表征价值。

实验结果

研究问题

• RQ1 能否设计一种结合循环单元与句法依赖的图结构编码器，使神经机器翻译性能超越标准句法感知模型？
• RQ2 在Transformer编码器的底层注入句法依赖关系，是否能带来更优的句法表征与翻译质量？
• RQ3 使用未来依赖与过去依赖对翻译性能有何影响，特别是在长句中？
• RQ4 与基线模型相比，RGSE在长序列翻译任务中的性能提升程度如何？
• RQ5 RGSE能否有效应用于循环与自注意力机制驱动的神经机器翻译架构？

主要发现

• 配备RGSE的Transformer-base模型在WMT14 En-De上达到28.62 BLEU，优于基线Transformer（27.65）及其他句法感知模型。
• RGSE增强的Transformer-big模型达到29.47 BLEU，超越WMT14 En-De的SOTA模型，展现出优异性能。
• 在长句子（长度 > 50）上，RGSE模型表现出显著的BLEU提升，证实其在长距离依赖建模方面更具优势。
• 未来依赖注入优于过去依赖注入，可能归因于解码器预测中长程规划能力的提升。
• 双向边级RGSE集成相比单向设置带来进一步性能增益，尤其在复杂句法结构中表现更优。
• 消融实验证实，RGSE的边级集成机制与门控残差连接对加快收敛速度与提升泛化能力具有关键贡献。