[论文解读] Paraphrase Generation with Latent Bag of Words

Yao Fu, Yansong Feng+1 more|arXiv (Cornell University)|Jan 7, 2020

Topic Modeling被引用 35

一句话总结

论文提出一个潜在的词袋模型（latent bag-of-words，BOW）以目标句子为基础来引导可微分的改述生成，从而实现可解释的内容规划和改述生成性能的提升。

ABSTRACT

Paraphrase generation is a longstanding important problem in natural language processing. In addition, recent progress in deep generative models has shown promising results on discrete latent variables for text generation. Inspired by variational autoencoders with discrete latent structures, in this work, we propose a latent bag of words (BOW) model for paraphrase generation. We ground the semantics of a discrete latent variable by the BOW from the target sentences. We use this latent variable to build a fully differentiable content planning and surface realization model. Specifically, we use source words to predict their neighbors and model the target BOW with a mixture of softmax. We use Gumbel top-k reparameterization to perform differentiable subset sampling from the predicted BOW distribution. We retrieve the sampled word embeddings and use them to augment the decoder and guide its generation search space. Our latent BOW model not only enhances the decoder, but also exhibits clear interpretability. We show the model interpretability with regard to \emph{(i)} unsupervised learning of word neighbors \emph{(ii)} the step-by-step generation procedure. Extensive experiments demonstrate the transparent and effective generation process of this model.\footnote{Our code can be found at \url{https://github.com/FranxYao/dgm_latent_bow}}

研究动机与目标

• 将潜在变量与目标句子 BOW 中的显式词汇语义相对齐。
• 构建一个用于改述生成的可微分内容规划与表面实现的流水线。
• 无监督学习词语邻近关系，并通过逐步生成展示可解释性。

提出的方法

• 将分层离散潜变量 z 建模为来自目标句子的词袋。
• 为每个源词预测邻近词，并通过 softmax 混合形成混合邻近 BOW。
• 使用可微的 Gumbel top-k 重参数化，从 p(tilde z|x) 采样 k-hot BOW z。
• 用采样的词嵌入来增强解码器以引导生成。
• 使用将序列到序列似然和 BOW 指导耦合的联合损失进行训练。
• 利用 softmax 的混合来捕捉多模态的 BOW 分布。

实验结果

研究问题

• RQ1 将潜在离散变量绑定到目标 BOW 是否可以在端到端可微的前提下提升改述生成？
• RQ2 通过 Gumbel top-k 的可微子集采样是否能够在改述生成中实现有效的规划与实现？
• RQ3 潜在 BOW 预测在多大程度上影响解码与生成质量？

主要发现

• LBOW 模型（Topk 和 Gumbel）在 Quora 和 MSCOCO 上的 BLEU/ROUGE 性能高于标准 seq2seq 基线。
• Gumbel-top-k 提供对 BOW 的可微抽样，使端到端训练成为可能。
• BOW 指导的解码显著约束搜索空间并提升生成质量。
• 模型以无监督方式学习词语邻近关系和词汇语义关系。
• 一个作弊型 BOW 上界证实了准确的 BOW 预测对强性能的重要性。