[论文解读] Proactive Human-Machine Conversation with Explicit Conversation Goals

Wenquan Wu, Zhen Guo+5 more|arXiv (Cornell University)|Jun 13, 2019

Topic Modeling参考文献 20被引用 41

一句话总结

本文提出一个主动对话设置，在知识图谱的帮助下，领导者引导对话朝向明确的主题，并提供 DuConv，一个用于知识驱动的主动对话的大型数据集；它评估在知识图谱上进行规划的检索与生成模型。

ABSTRACT

Though great progress has been made for human-machine conversation, current dialogue system is still in its infancy: it usually converses passively and utters words more as a matter of response, rather than on its own initiatives. In this paper, we take a radical step towards building a human-like conversational agent: endowing it with the ability of proactively leading the conversation (introducing a new topic or maintaining the current topic). To facilitate the development of such conversation systems, we create a new dataset named DuConv where one acts as a conversation leader and the other acts as the follower. The leader is provided with a knowledge graph and asked to sequentially change the discussion topics, following the given conversation goal, and meanwhile keep the dialogue as natural and engaging as possible. DuConv enables a very challenging task as the model needs to both understand dialogue and plan over the given knowledge graph. We establish baseline results on this dataset (about 270K utterances and 30k dialogues) using several state-of-the-art models. Experimental results show that dialogue models that plan over the knowledge graph can make full use of related knowledge to generate more diverse multi-turn conversations. The baseline systems along with the dataset are publicly available

研究动机与目标

• 构建能够主动引导对话、而不仅仅是被动响应的人类相似代理的动机。
• 提出一个基于知识的主动对话任务，并在知识图谱上设定明确目标。
• 构建并发布一个大规模数据集（DuConv），将事实性与非事实性知识结合。
• 开发并基准测试知识感知的检索与生成模型，用于主动对话。
• 分析在知识图谱上进行规划如何提升多轮对话的多样性与目标实现度。

提出的方法

• 通过将事实性与非事实性电影知识连接起来来构建知识图谱，包括相关的三元组。
• 将对话目标定义为知识路径 [start -> topic_a -> topic_b]，并收集约 3 万条带有领导者与跟随者的对话。
• 提出一个知识感知的基于检索的模型，结合上下文、知识和目标进行回复排序。
• 提出一个知识感知的生成模型，学习先验/后验知识分布并用 KL 散度对齐它们，使用知识引导的解码器。
• 在自动评估指标（Hits@1/3、PPL、F1/BLEU、DISTINCT）和人工评估（流畅性、连贯性、信息性、主动性、目标完成度）上训练与评估模型。
• 公开代码和数据以便在知识驱动的主动对话基准测试中使用。

实验结果

研究问题

• RQ1 对话系统能否通过在知识图谱上进行规划并设定明确目标来主动引导对话？
• RQ2 将知识图谱与目标导向的规划引入是否能改善多轮对话的多样性与信息性？
• RQ3 检索式与生成式方法在知识驱动的主动对话场景下的表现有何差异？
• RQ4 对话中的主题标签规范化（topic_a/topic_b）对泛化与性能有何影响？

主要发现

• 知识感知模型在总体评估上超越未使用知识的基线。
• 基于生成的模型在轮次信息性与主动性、以及对话层面的目标完成度和连贯性方面，优于检索式或 Seq2Seq 基线。
• 结合先验/后验知识分布并使用 KL 散度对齐，可以提升知识利用与目标实现。
• 规范化主题标签（topic_a/topic_b）显著提升各模型的性能。
• 知识驱动的方法产生更具多样性和主题相关性的回答，尽管在某些情况下仍然较难实现完整的多轮目标。