[论文解读] Neural Paraphrase Generation with Stacked Residual LSTM Networks

Aaditya Prakash, Sadid A. Hasan+5 more|arXiv (Cornell University)|Oct 10, 2016

Natural Language Processing Techniques参考文献 49被引用 221

一句话总结

本论文提出一种用于改写生成的堆叠残差 LSTM 网络，并在多个大型数据集上证明其优于各种深度学习基线。残差连接使训练更深的 LSTM 成为可能，从而提升改写质量。

ABSTRACT

In this paper, we propose a novel neural approach for paraphrase generation. Conventional para- phrase generation methods either leverage hand-written rules and thesauri-based alignments, or use statistical machine learning principles. To the best of our knowledge, this work is the first to explore deep learning models for paraphrase generation. Our primary contribution is a stacked residual LSTM network, where we add residual connections between LSTM layers. This allows for efficient training of deep LSTMs. We evaluate our model and other state-of-the-art deep learning models on three different datasets: PPDB, WikiAnswers and MSCOCO. Evaluation results demonstrate that our model outperforms sequence to sequence, attention-based and bi- directional LSTM models on BLEU, METEOR, TER and an embedding-based sentence similarity metric.

研究动机与目标

• 将改写生成视为神经序列到序列任务的动机，并超越基于规则或 SMT 的方法。
• 提出一种带有残差连接的深度 LSTM 架构，以实现更深的编码器/解码器在改写生成中的训练。
• 在标准评估指标上展示该模型在大规模改写数据集上的有效性。
• 将堆叠残差 LSTM 与若干基线进行比较，包括 Seq2Seq、基于注意力的模型和双向 LSTM 模型。
• 在不同数据集（PPDB、WikiAnswers、MSCOCO）上评估鲁棒性。

提出的方法

• 采用用于改写生成的编码器–解码器 Seq2Seq 框架，使用 LSTM 单元。
• 引入堆叠残差连接在 LSTM 层之间，以在不退化的情况下实现更深的网络。
• 采用垂直堆叠，其中输入从一层流向下一层，在每 n 层（n=2）之后增加残差连接。
• 用 SGD、 dropout 和 perplexity 损失进行训练；在推理阶段通过束搜索进行评估（束大小为 5 和 10）。
• 用 BLEU、METEOR、TER，以及一个基于嵌入的相似性度量 Emb Greedy 进行评估。

实验结果

研究问题

• RQ1 残差连接是否能够使更深的堆叠 LSTM 在改写生成任务上实现有效训练？
• RQ2 堆叠残差 LSTM 是否在大规模改写数据集上优于传统的序列到序列、基于注意力的以及双向 LSTM 基线？
• RQ3 所提出的模型在具有不同改写特征的数据集上（短短语与较长的描述）表现如何？
• RQ4 束大小对堆叠残差 LSTM 改写质量有何影响？
• RQ5 困惑度是否是训练神经改写生成模型的合适损失，以及基于嵌入的相似性与传统指标之间的相关性如何？

主要发现

• 堆叠残差 LSTM 模型在所有数据集的 BLEU 和 TER 指标上持续优于基线模型。
• 在大多数数据集上，该模型在 Emb Greedy 分数上表现更优，某些情况下在较大束大小时有例外。
• METEOR 的提升取决于数据集，在 MSCOCO 和 WikiAnswers 上，残差 LSTM 领先；但在 PPDB 上并不总是领先。
• 深度增加（四层残差 LSTM）相较于较浅的配置带来更好的性能。
• 困惑度与模型性能一致，但当前指标可能无法捕捉到改写质量的语义性与新颖性。
• 该方法在多样数据源（PPDB、WikiAnswers、MSCOCO）上效果良好，无需在训练时对 MSCOCO 使用图像。