[论文解读] Synchronous Bidirectional Inference for Neural Sequence Generation

Jiajun Zhang, Long Zhou+2 more|arXiv (Cornell University)|Feb 24, 2019

Natural Language Processing Techniques参考文献 38被引用 8

一句话总结

本文提出了一种同步双向推理模型，能够在序列生成过程中并行且交互式地进行从左到右和从右到左的解码。通过引入一种新型束搜索算法和同步注意力机制，该模型能够同时利用历史和未来上下文，显著优于机器翻译和抽象摘要任务中的强基线模型。

ABSTRACT

In sequence to sequence generation tasks (e.g. machine translation and abstractive summarization), inference is generally performed in a left-to-right manner to produce the result token by token. The neural approaches, such as LSTM and self-attention networks, are now able to make full use of all the predicted history hypotheses from left side during inference, but cannot meanwhile access any future (right side) information and usually generate unbalanced outputs in which left parts are much more accurate than right ones. In this work, we propose a synchronous bidirectional inference model to generate outputs using both left-to-right and right-to-left decoding simultaneously and interactively. First, we introduce a novel beam search algorithm that facilitates synchronous bidirectional decoding. Then, we present the core approach which enables left-to-right and right-to-left decoding to interact with each other, so as to utilize both the history and future predictions simultaneously during inference. We apply the proposed model to both LSTM and self-attention networks. In addition, we propose two strategies for parameter optimization. The extensive experiments on machine translation and abstractive summarization demonstrate that our synchronous bidirectional inference model can achieve remarkable improvements over the strong baselines.

研究动机与目标

• 解决传统从左到右序列生成中生成质量不平衡的问题，即早期标记的准确性高于后期标记。
• 在推理过程中使从左到右和从右到左的解码能够相互交互，利用未来预测来改进当前输出。
• 设计一种统一的模型架构，避免为从左到右和从右到左推理分别训练独立模型。
• 通过两种提出的策略有效优化模型参数，以提升序列到序列任务中的性能。

提出的方法

• 提出一种新型束搜索算法，在每一步解码时分别维护从左到右和从右到左的束，同时实现双向之间的信息交换。
• 引入一种同步注意力机制，使每个解码器能够同时关注自身的历史信息和相反方向生成的未来预测。
• 采用单一解码器架构支持双向解码，消除了对两个独立模型的需求。
• 设计两种参数优化策略，以提升训练效率并增强双向解码路径之间的对齐。
• 将该方法应用于基于LSTM和基于Transformer的序列到序列模型，以实现广泛的适用性。

实验结果

研究问题

• RQ1 同步双向解码是否能改善序列到序列任务中生成序列的平衡性和整体质量？
• RQ2 如何有效整合从右到左解码的未来上下文，以改进从左到右生成，而无需使用独立模型？
• RQ3 从左到右和从右到左解码器之间进行交互式、实时的信息交换，是否能带来优于串行或独立方法的性能？
• RQ4 所提出的方法是否能在机器翻译和抽象摘要等多样化的序列生成任务中实现一致的性能提升？

主要发现

• 所提出的同步双向推理模型在机器翻译和抽象摘要任务上，相较于强基线的从左到右模型，实现了显著的性能提升。
• 在NIST中文-英文翻译任务中，该模型缩小了头部和尾部标记准确率之间的差距，实现了更均衡的预测。
• 与传统的从左到右或从右到左推理相比，该模型在前四个和后四个标记的匹配准确率上均有提升，表明整体序列质量更优。
• 大量实验结果证实，该模型在推理过程中有效利用了历史和未来上下文，从而生成了更连贯、更准确的输出。