[论文解读] Neural Responding Machine for Short-Text Conversation

Lifeng Shang, Zhengdong Lu+1 more|arXiv (Cornell University)|Mar 9, 2015

Topic Modeling被引用 213

一句话总结

本文提出神经响应生成模型（NRM），一种基于门控循环单元（GRUs）的序列到序列神经网络模型，采用编码器-解码器框架，用于生成短文本对话的回复。该模型在440万条微博帖子-回复对上进行训练，性能优于检索基线和SMT基线方法，在微博数据上实现超过75%的回复被评为合适或中性，其中混合型NRM-hyp变体在流畅性和相关性方面显著优于其他方法。

ABSTRACT

We propose Neural Responding Machine (NRM), a neural network-based response generator for Short-Text Conversation. NRM takes the general encoder-decoder framework: it formalizes the generation of response as a decoding process based on the latent representation of the input text, while both encoding and decoding are realized with recurrent neural networks (RNN). The NRM is trained with a large amount of one-round conversation data collected from a microblogging service. Empirical study shows that NRM can generate grammatically correct and content-wise appropriate responses to over 75% of the input text, outperforming state-of-the-arts in the same setting, including retrieval-based and SMT-based models.

研究动机与目标

• 解决在单轮短文本对话中生成多样化、流畅且上下文相关回复的挑战。
• 克服检索基线模型的局限性，后者依赖预存在的回复，难以实现个性化定制并易出现语义不匹配。
• 改进基于SMT的方法，后者将回复生成视为翻译任务，常产生语法错误或语义不连贯的输出。
• 开发一种神经生成模型，学习输入帖子的丰富动态表征，以生成多样化且恰当的回复。
• 证明神经编码器-解码器框架能够有效建模短文本对话中非平行、多回复的特性。

提出的方法

• 采用编码器-解码器架构，结合门控循环单元（GRUs），将输入帖子编码为上下文向量，并解码生成回复。
• 引入受Bahdanau等人（2014）启发的动态上下文机制，在解码过程中对输入序列进行注意力计算，以提升对齐效果与相关性。
• 提出三种变体：NRM-glo（全局上下文）、NRM-loc（局部上下文加注意力）和NRM-hyp（全局与局部上下文的混合），以增强表征学习能力。
• 在包含440万对帖子-回复的大型微博数据集上，采用最大似然估计进行端到端训练。
• 使用束搜索（beam size为500）生成每个输入帖子的多个多样化回复，评估回复的多样性与流畅性。
• 采用基于排序的人工评估方法，由人工标注者评估回复在流畅性、相关性及合适性方面的质量。

实验结果

研究问题

• RQ1 神经编码器-解码器模型能否在单轮短文本对话中有效生成多样化、流畅且上下文相关的回复？
• RQ2 与静态全局编码相比，在解码过程中引入动态注意力机制如何影响回复质量？
• RQ3 结合全局与局部上下文的混合编码策略在多大程度上优于单一方法，从而提升回复生成性能？
• RQ4 与检索基线和SMT基线相比，所提出的神经模型在流畅性、相关性及人工评分合适性方面的表现如何？
• RQ5 该模型能否为同一输入帖子生成多个不同但高质量的回复，表明其对回复空间分布的有效密度估计？

主要发现

• 结合全局与局部上下文表征的NRM-hyp模型在人工评分中获得最高合适性得分，显著优于所有基线模型（p < 0.05）。
• 超过75%的NRM变体生成的回复被人工标注者评为“合适”或“中性”，表明其具有出色的流畅性与相关性。
• 检索基线模型与NRM-glo性能相当，但被NRM-hyp超越；NRM-loc与检索基线之间的p值为0.062，表明差异具有边缘显著性。
• SMT基线模型表现显著劣于检索基线与NRM模型，74.4%的回复因流畅性与相关性错误被标记为“不合适”。
• NRM-hyp模型能为同一输入帖子生成多个多样化、流畅且相关的回复，表明其有效覆盖了回复分布的多个模式。
• 该模型成功避免了检索基线常见的问题，如命名实体错配（例如错误的餐厅名称），生成了更具通用性与一致性的回复。