[论文解读] Towards Exploiting Background Knowledge for Building Conversation Systems

Nikita Moghe, Siddhartha Arora+2 more|arXiv (Cornell University)|Sep 21, 2018

Topic Modeling参考文献 34被引用 11

一句话总结

本文提出一个新型背景感知对话数据集，包含来自9,000段电影对话的90,000条话语，其中响应明确基于非结构化知识（剧情、评论、评论）生成。本文提出并评估了三种模型类型——纯生成、复制增强生成和跨度预测——结果表明，利用背景知识的模型生成的回应比忽略背景知识的模型更具连贯性和上下文相关性。

ABSTRACT

Existing dialog datasets contain a sequence of utterances and responses without any explicit background knowledge associated with them. This has resulted in the development of models which treat conversation as a sequence-to-sequence generation task i.e, given a sequence of utterances generate the response sequence). This is not only an overly simplistic view of conversation but it is also emphatically different from the way humans converse by heavily relying on their background knowledge about the topic (as opposed to simply relying on the previous sequence of utterances). For example, it is common for humans to (involuntarily) produce utterances which are copied or suitably modified from background articles they have read about the topic. To facilitate the development of such natural conversation models which mimic the human process of conversing, we create a new dataset containing movie chats wherein each response is explicitly generated by copying and/or modifying sentences from unstructured background knowledge such as plots, comments and reviews about the movie. We establish baseline results on this dataset (90K utterances from 9K conversations) using three different models: (i) pure generation based models which ignore the background knowledge (ii) generation based models which learn to copy information from the background knowledge when required and (iii) span prediction based models which predict the appropriate response span in the background knowledge.

研究动机与目标

• 为解决现有对话数据集中缺乏显式背景知识的问题，该问题限制了模型模仿人类对话行为的能力。
• 构建一个新数据集，其中响应基于电影剧情、评论和评论等非结构化背景知识进行生成。
• 评估不同建模方法在利用背景知识生成更连贯、更具上下文相关性的对话方面的有效性。
• 证明整合背景知识的模型优于仅依赖话语历史的模型。

提出的方法

• 使用亚马逊机械 Turk 众包收集 9,000 段电影对话，工作人员通过从背景资源中复制或修改句子来生成响应。
• 收集背景知识，包括电影剧情、评论、评论、事实表以及无背景知识（用于基线）。
• 针对每个话语，标注用于生成响应的背景资源中的确切文本跨度。
• 训练并评估三种模型类型：(1) 纯序列到序列生成，(2) 从背景中引入复制机制的生成，(3) 直接预测相关跨度的跨度预测模型。
• 使用基于 oracle 的模型（GTTP）建立性能上限，包括词重叠和混合长/短版本。
• 应用 BiDAF 和 HRED 作为基线模型，以与基于知识的模型进行性能比较。

实验结果

研究问题

• RQ1 是否能够通过显式利用背景知识，使模型生成的响应比忽略背景知识的模型更具连贯性和上下文相关性？
• RQ2 跨度预测模型在识别给定对话轮次中最合适的知识跨度方面效果如何？
• RQ3 与仅依赖话语历史相比，整合非结构化背景知识在多大程度上提升了响应质量？
• RQ4 在处理复杂推理任务（如角色背景故事）时，不同模型架构（如复制增强与跨度预测）的表现如何比较？

主要发现

• GTTP（oracle）模型通过精确跨度匹配实现最高性能，证明了知识接地在对话中的潜力。
• 跨度预测模型（GTTP）在生成具有上下文相关性的响应方面优于 HRED 和基于 BiDAF 的模型，尤其在复杂推理任务中表现更优。
• 复制增强生成模型相比纯生成模型显著提升了响应连贯性，尤其在背景知识相关时效果更明显。
• 纯生成模型（如 HRED）即使在上下文合理的情况下，也常生成不连贯或离题的响应，凸显了仅依赖序列学习的局限性。
• 依赖词重叠的模型（如 BiDAF）在需要超越表面匹配的复杂查询（如角色背景故事）中表现不佳，难以进行深层推理。
• 该数据集名为 Holl-E，已公开发布，包含 921 部电影、90,000 条话语及完整标注，可为未来基于知识的对话研究提供支持。