[论文解读] Towards Diverse Paraphrase Generation Using Multi-Class Wasserstein GAN

Zhecheng An, Sicong Liu|arXiv (Cornell University)|Sep 30, 2019

Topic Modeling参考文献 20被引用 9

一句话总结

该论文提出了一种基于多类别Wasserstein GAN（MC-WGAN）的多样化释义生成模型，通过可学习的模式嵌入进行条件控制，生成语义相似但语言形式多样的多种释义。通过结合正样本与负样本的对抗性训练，模型提升了流畅性与相关性，在Quora和MSCOCO数据集上的自动评估与人工评估中均优于最先进方法。

ABSTRACT

Paraphrase generation is an important and challenging natural language processing (NLP) task. In this work, we propose a deep generative model to generate paraphrase with diversity. Our model is based on an encoder-decoder architecture. An additional transcoder is used to convert a sentence into its paraphrasing latent code. The transcoder takes an explicit pattern embedding variable as condition, so diverse paraphrase can be generated by sampling on the pattern embedding variable. We use a Wasserstein GAN to align the distributions of the real and generated paraphrase samples. We propose a multi-class extension to the Wasserstein GAN, which allows our generative model to learn from both positive and negative samples. The generated paraphrase distribution is forced to get closer to the positive real distribution, and be pushed away from the negative distribution in Wasserstein distance. We test our model in two datasets with both automatic metrics and human evaluation. Results show that our model can generate fluent and reliable paraphrase samples that outperform the state-of-art results, while also provides reasonable variability and diversity.

研究动机与目标

• 解决单目标释义模型无法捕捉人类生成释义中语言多样性的局限性。
• 开发一种深度生成模型，能够从单个输入句子生成多样、流畅且语义准确的释义。
• 通过使用Wasserstein GAN的多类别扩展，提升文本生成中的训练稳定性和分布对齐能力。
• 使模型能够从正样本（真实释义）和负样本（干扰项）中同时学习，从而提升生成质量。

提出的方法

• 模型采用编码器-解码器架构，并共享解码器以生成释义并重建参考句子。
• 一个转换网络将输入句子与随机的模式嵌入向量映射为释义生成的潜在码。
• 通过采样不同的模式嵌入向量，实现对输出多样性的显式控制。
• 生成器采用多类别Wasserstein GAN进行训练，使生成分布与真实正样本释义对齐，并远离负样本。
• 使用Gumbel-softmax实现离散词元的可微采样，同时应用教师强制策略，通过匹配隐藏状态来稳定训练。
• 判别器网络评估生成样本与真实正/负样本分布之间的Wasserstein距离，从而实现稳定的对抗性训练。

实验结果

研究问题

• RQ1 具有可学习模式嵌入的条件生成模型能否生成多样、流畅且语义准确的释义？
• RQ2 在训练目标中引入负样本如何提升生成释义的质量与相关性？
• RQ3 与标准GAN相比，多类别WGAN框架在文本生成中在分布对齐与训练稳定性方面有多大的提升？
• RQ4 在基准数据集上，该模型在流畅性、相关性与多样性方面与现有方法相比表现如何？

主要发现

• 在Quora数据集上，该模型在每个输入对应的最佳生成样本中，BLEU、ROUGE与METEOR指标均达到最优性能。
• 人工评估显示，该模型生成的释义在相关性与流畅性方面显著更优（平均分4.3），优于VAE-SVG（平均分3.8）。
• 该模型在Quora数据集上的平均性能优于VAE-SVG，并在MSCOCO数据集上持续提升了BLEU与ROUGE-2指标，表明其具有更优的分布建模能力。
• 通过改变模式嵌入，模型成功生成了多个输入对应的多样化释义，示例显示在保留语义内容的同时实现了有意义的语言形式变化。
• 多类别WGAN框架通过使生成分布更贴近真实正样本分布并远离负样本，实现了更好的分布对齐与泛化能力，从而提升了生成的鲁棒性。
• 在MSCOCO数据集上，模型生成的释义多样性高于Quora数据集，反映出该数据集在图像字幕任务中固有的多样性特征。