[论文解读] Topic Aware Neural Response Generation

Xing Chen, Wei Wu+5 more|arXiv (Cornell University)|Jun 21, 2016

Topic Modeling被引用 317

一句话总结

本文提出 TA-Seq2Seq，一种结合输入消息的联合注意力机制与预训练主题词的主题感知序列到序列模型，用以生成更具信息量且多样化的聊天机器人回复，超越最先进的基线。它将生成偏向主题词，并在大规模中文对话数据上显示出改进。

ABSTRACT

We consider incorporating topic information into the sequence-to-sequence framework to generate informative and interesting responses for chatbots. To this end, we propose a topic aware sequence-to-sequence (TA-Seq2Seq) model. The model utilizes topics to simulate prior knowledge of human that guides them to form informative and interesting responses in conversation, and leverages the topic information in generation by a joint attention mechanism and a biased generation probability. The joint attention mechanism summarizes the hidden vectors of an input message as context vectors by message attention, synthesizes topic vectors by topic attention from the topic words of the message obtained from a pre-trained LDA model, and let these vectors jointly affect the generation of words in decoding. To increase the possibility of topic words appearing in responses, the model modifies the generation probability of topic words by adding an extra probability item to bias the overall distribution. Empirical study on both automatic evaluation metrics and human annotations shows that TA-Seq2Seq can generate more informative and interesting responses, and significantly outperform the-state-of-the-art response generation models.

研究动机与目标

• 激发对更具信息量和吸引力的开放域聊天机器人回复的需求。
• 将主题信息作为先验知识来指导回复生成。
• 通过联合注意力和偏向生成将主题词整合到 Seq2Seq 框架中。
• 证明主题感知生成在信息量、多样性和相关性方面优于基线。
• 利用大规模数据和人工评估验证该方法。

提出的方法

• 对输入消息使用双向 GRU 编码器，对来自 Twitter LDA 模型的主题词嵌入使用主题编码器。
• 通过将消息注意力与主题注意力结合来计算联合注意力上下文，其中主题注意力使用最终编码器状态来对主题词加权。
• 从一个偏置分布生成每个目标词，该分布同时包含标准词汇生成和主题词分量。
• 通过添加一个依赖于解码器状态、前一个词和上下文的额外概率项来将生成概率偏向主题词。
• 在大规模百度贴吧数据上进行训练，并用困惑度、distinct-1/2 指标和人工评估进行评估。
• 采用两步学习方法：通过 Twitter LDA 获取主题词，并在 TA-Seq2Seq 框架内进行回复生成。

实验结果

研究问题

• RQ1 将主题信息纳入 Seq2Seq 生成是否能够产生更具信息量和更有趣的回复？
• RQ2 整合消息内容与主题词的联合注意力机制是否在回复质量上优于标准注意力？
• RQ3 将生成偏向主题词是否会增加回复中主题相关内容的出现频率和有用性？
• RQ4 在自动指标和人工评估上，TA-Seq2Seq 相较于最先进的回复生成模型表现如何？

主要发现

• TA-Seq2Seq 产生的回复比基线更具信息量、多样性和主题相关性。
• 主题感知变体（TopicConcat、TopicAttention）相比非主题模型提升了人工评估，TA-Seq2Seq 表现最佳。
• TA-Seq2Seq 在困惑度方面具有竞争力，同时提升 distinct-1 和 distinct-2 指标，表明输出内容更丰富。
• 使用最终消息状态(h_T) 的主题注意力有助于抑制不相关的主题词，提高相关性。
• 偏向生成组件增加生成主题词的概率，有助于内容丰富性。
• 统计检验显示改进具有显著性（p 值 < 0.01）。