[论文解读] Towards Empathetic Dialogue Generation over Multi-type Knowledge.

Qintong Li, Piji Li+2 more|arXiv (Cornell University)|Sep 21, 2020

Topic Modeling参考文献 54被引用 13

一句话总结

本文提出了一种多类型知识感知的框架，用于情感对话生成，通过整合常识知识和情感词典以增强情感理解。通过构建情感上下文图并采用具有情感交叉注意力机制的知识感知编码器，该模型提升了响应的相关性与情感一致性，在自动评估和人工评估指标上均优于当前最先进方法。

ABSTRACT

Enabling the machines with empathetic abilities to provide context-consistent responses is crucial on both semantic and emotional levels. The task of empathetic dialogue generation is proposed to address this problem. However, lacking external knowledge makes it difficult to perceive implicit emotions from limited dialogue history. To address the above challenges, we propose to leverage multi-type knowledge, i.e, the commonsense knowledge and emotional lexicon, to explicitly understand and express emotions in empathetic dialogue generation. We first enrich the dialogue history by jointly interacting with two-type knowledge and construct an emotional context graph. Then we introduce a multi-type knowledge-aware context encoder to learn emotional context representations and distill emotional signals, which are the prerequisites to predicate emotions expressed in responses. Finally, we propose an emotional cross-attention mechanism to exploit the emotional dependencies between the emotional context graph and the target empathetic response. Conducted on a benchmark dataset, extensive experimental results show that our proposed framework outperforms state-of-the-art baselines in terms of automatic metrics and human evaluations.

研究动机与目标

• 为解决对话系统中生成情感一致响应的挑战，利用外部知识。
• 在对话历史有限或模糊时，提升响应生成中的情感感知能力。
• 通过常识知识与情感词典，显式建模情感上下文。
• 开发一种框架，以捕捉对话历史与目标响应之间的情感依赖关系。
• 通过情感上下文表征的联合学习与情感信号蒸馏，提升响应质量。

提出的方法

• 通过同时与常识知识和情感词典交互，丰富对话历史，构建统一的情感上下文图。
• 设计一种多类型知识感知的上下文编码器，以学习上下文表征并从丰富化的历史中蒸馏情感信号。
• 引入一种情感交叉注意力机制，以建模情感上下文图与目标响应之间的依赖关系。
• 采用端到端的序列到序列框架，结合对情感上下文的注意力机制进行模型训练。
• 利用注意力机制动态关注情感显著的知识与对话历史组件。
• 结合知识嵌入与话语表征，生成在语境与情感上均具根基的响应。

实验结果

研究问题

• RQ1 多类型知识（常识知识与情感词典）如何提升情感对话生成中的情感理解？
• RQ2 与不同类型知识的联合交互在多大程度上能提升响应的相关性与情感一致性？
• RQ3 情感上下文图能否有效表征对话历史中的隐含情感状态？
• RQ4 情感交叉注意力机制如何改善历史与响应之间情感依赖关系的建模？
• RQ5 情感信号的整合是否能在自动评估与人工评估指标上带来可测量的性能提升？

主要发现

• 所提模型在基准数据集上的自动评估指标上，性能优于当前最先进基线方法。
• 人工评估结果证实，该模型生成的响应更具情感一致性与语境适宜性。
• 同时整合常识知识与情感词典，能实现更优的情感信号蒸馏与上下文表征。
• 情感交叉注意力机制能有效捕捉对话历史与生成响应之间的情感依赖关系。
• 即使在对话历史较短或情感模糊的情况下，该模型仍表现出更优的响应质量。
• 消融实验表明，若移除任一知识类型或情感交叉注意力机制，性能均会下降。