[论文解读] Sequence to Backward and Forward Sequences: A Content-Introducing Approach to Generative Short-Text Conversation

Lili Mou, Yiping Song+4 more|arXiv (Cornell University)|Jul 4, 2016

Topic Modeling参考文献 25被引用 191

一句话总结

本文介绍了一种面向生成性短文本对话的内容引入方法，通过PMI预测关键词，并使用seq2BF模型在关键词周围构建前向和后向序列来生成回复。

ABSTRACT

Using neural networks to generate replies in human-computer dialogue systems is attracting increasing attention over the past few years. However, the performance is not satisfactory: the neural network tends to generate safe, universally relevant replies which carry little meaning. In this paper, we propose a content-introducing approach to neural network-based generative dialogue systems. We first use pointwise mutual information (PMI) to predict a noun as a keyword, reflecting the main gist of the reply. We then propose seq2BF, a "sequence to backward and forward sequences" model, which generates a reply containing the given keyword. Experimental results show that our approach significantly outperforms traditional sequence-to-sequence models in terms of human evaluation and the entropy measure, and that the predicted keyword can appear at an appropriate position in the reply.

研究动机与目标

• 动机：在神经对话系统中克服普遍、乏味的回复的必要性。
• 提出一个两步方法：(i) 通过PMI进行关键词（名词）预测以捕捉回复要旨；(ii) 使用seq2BF生成包含该关键词的流畅回复。
• 证明引入内容关键词能够提升相对于传统seq2seq模型的人类评估与信息量。

提出的方法

• 利用PMI对查询词进行对比，预测回复的名词关键词。
• 使用seq2BF模型先从关键词生成后向序列，然后在关键词和查询条件下生成前向序列以产生回复。
• 将seq2BF实现为一个带分离后向/前向seq2seq组件的asyn-B/F变体。
• 用随机拆分的回复序列的反向半段来训练后向生成器，以学习受限的生成。
• 将前向生成器训练为一个标注部分回复和关键词条件下的标准seq2seq编码器-解码器。

实验结果

研究问题

• RQ1 基于PMI的关键词预测是否能够产生内容丰富的关键词，从而提升对话相关性？
• RQ2 seq2BF机制是否允许预测的关键词出现在任意位置且保持流畅性？
• RQ3 在人工评估和基于熵的指标上，内容引入型seq2BF模型是否优于纯seq2seq及非内容引入的seq2BF模型？

主要发现

• 内容引入型seq2BF在逐点人工评估分数上高于seq2seq和未引入关键词内容的seq2BF。
• 相较于没有关键词的seq2BF，含有关键词的seq2BF使回复的熵增加约30%，反映出更丰富的信息。
• 包含关键词的seq2BF模型产生更长、信息量更丰富的回复，在成对人工评估中超越基线。
• 案例研究显示关键词可放在回复的不同位置而不牺牲流畅性。
• 内在度量显示seq2BF+产生更丰富的内容（更高的熵）且长度保持在合理范围，相较基线。）