[论文解读] Topic Augmented Neural Response Generation with a Joint Attention Mechanism.

Xing Chen, Wei Wu+5 more|arXiv (Cornell University)|Jun 21, 2016

Topic Modeling参考文献 27被引用 54

一句话总结

本文提出 TAJA-Seq2Seq，一种联合注意力机制，将话题信息与帖子内容整合到序列到序列模型中，用于聊天机器人回复生成。通过同时关注内容和话题表征，该模型生成的回复更加聚焦且多样化，在人类评估的回复质量和多样性方面显著优于标准的带注意力机制的 Seq2Seq 模型。

ABSTRACT

We consider incorporating topic information as prior knowledge into the sequence to sequence (Seq2Seq) network structure with attention mechanism for response generation in chatbots. To this end, we propose a topic augmented joint attention based Seq2Seq (TAJA-Seq2Seq) model. In TAJA-Seq2Seq, information from input posts and information from topics related to the posts are simultaneously embedded into vector spaces by a content encoder and a topic encoder respectively. The two kinds of information interact with each other and help calibrate weights of each other in the joint attention mechanism in TAJA2Seq2Seq, and jointly determine the generation of responses in decoding. The model simulates how people behave in conversation and can generate well-focused and informative responses with the help of topic information. Empirical study on large scale human judged generation results show that our model outperforms Seq2Seq with attention on both response quality and diversity.

研究动机与目标

• 通过将话题信息作为先验知识，提升聊天机器人中的响应生成质量。
• 解决标准 Seq2Seq 模型在生成聚焦且信息丰富的回复方面的局限性。
• 设计一种联合注意力机制，动态校准输入帖子与话题表征之间的注意力权重。
• 通过在解码过程中同时利用内容和话题信息，提升响应的多样性和质量。

提出的方法

• 内容编码器将输入帖子嵌入到向量空间，话题编码器则独立地将话题信息嵌入。
• 联合注意力机制通过融合内容编码器和话题编码器的表征来计算注意力权重。
• 注意力权重通过迭代方式更新，以反映帖子内容与话题信息之间的动态交互。
• 解码器使用注意力机制生成的联合上下文向量，逐个 token 生成回复。
• 模型采用端到端的序列到序列学习方法进行训练，损失函数为交叉熵损失。
• 话题信息作为先验知识被整合，以引导响应生成，模拟人类对话行为。

实验结果

研究问题

• RQ1 将话题信息作为先验知识是否能提升神经响应生成中的回复质量？
• RQ2 内容与话题表征之间的联合注意力如何影响回复的聚焦性与信息量？
• RQ3 与标准的带注意力机制的 Seq2Seq 相比，话题信息的整合是否提升了回复的多样性？
• RQ4 联合注意力机制在多大程度上优于对内容和话题分别使用独立注意力机制的方法？

主要发现

• TAJA-Seq2Seq 模型在人类评估的回复质量方面显著优于标准的带注意力机制的 Seq2Seq 模型。
• 由于整合了话题信息，回复的多样性得到显著提升。
• 联合注意力机制通过利用话题上下文，实现了输入帖子与生成回复之间更好的对齐。
• 在大规模人工评估数据上的实证结果证实，该模型在质量与多样性指标上均具有显著优势。