[论文解读] Think Before You Speak: Using Self-talk to Generate Implicit Commonsense Knowledge for Response Generation

Pei Zhou, Karthik Gopalakrishnan+6 more|arXiv (Cornell University)|Oct 16, 2021

Topic Modeling参考文献 50被引用 4

一句话总结

本文提出一种自言自语方法，利用单一生成模型先生成隐性常识知识，再基于该知识生成回应，与端到端模型相比，显著提升了回应质量与常识对齐程度，人类评估显示在75%的情况下生成了高质量的知识。

ABSTRACT

Implicit knowledge, such as common sense, is key to fluid human conversations. Current neural response generation (RG) models are trained end-to-end, omitting unstated implicit knowledge. In this paper, we present a self-talk approach that first generates the implicit commonsense knowledge and then generates response by referencing the externalized knowledge, all using one generative model. We analyze different choices to collect knowledge-aligned dialogues, represent implicit knowledge, and elicit knowledge and responses. We introduce three evaluation aspects: knowledge quality, knowledge-response connection, and response quality and perform extensive human evaluations. Our experimental results show that compared with end-to-end RG models, self-talk models that externalize the knowledge grounding process by explicitly generating implicit knowledge also produce responses that are more informative, specific, and follow common sense. We also find via human evaluation that self-talk models generate high-quality knowledge around 75% of the time. We hope that our findings encourage further work on different approaches to modeling implicit commonsense knowledge and training knowledgeable RG models.

研究动机与目标

• 解决端到端神经响应生成模型中缺乏隐性常识知识的问题。
• 探究通过自言自语将隐性知识外化后如何提升响应质量与连贯性。
• 开发一种统一的生成模型，通过单一训练过程同时生成知识与响应。
• 评估生成知识的质量、知识与响应之间的关联性以及整体响应性能。

提出的方法

• 使用单一生成模型，先生成隐性常识知识，再基于该知识生成响应。
• 采用通过特定数据收集策略获取的知识对齐对话数据，以确保知识与响应的一致性。
• 将隐性知识表示为自然语言文本，使其外化以便模型访问与推理。
• 在单一模型架构内通过两阶段生成过程获取知识与响应。
• 通过人类评估来衡量知识质量、知识-响应关联性以及响应质量。
• 在受控评估指标下，将自言自语模型与标准端到端响应生成模型进行对比。

实验结果

研究问题

• RQ1 一种通过生成隐性常识知识的自言自语方法，能否提升开放域对话中的响应质量？
• RQ2 生成的知识与上下文及最终响应的对齐程度如何？
• RQ3 模型生成的隐性知识质量如何，其相关性与准确性如何？
• RQ4 在信息丰富性与常识遵循方面，自言自语模型与端到端响应生成模型相比表现如何？

主要发现

• 自言自语模型生成的响应显著比端到端模型更具信息量与具体性。
• 自言自语方法提升了与常识的一致性，生成的响应更具上下文相关性。
• 人类评估显示，该模型约75%的时间生成了高质量的隐性知识。
• 自言自语模型中知识与响应的关联性更强，表明响应在显式知识基础上具有更好的根基。
• 在知识质量、知识-响应关联性与响应质量三个评估维度上，该模型均优于端到端基线模型。
• 外化知识基础过程可带来更可靠且可解释的响应生成。