[论文解读] Towards Deep Conversational Recommendations

Raymond Li, Samira Ebrahimi Kahou+4 more|PolyPublie (École Polytechnique de Montréal)|Dec 18, 2018

Topic Modeling被引用 124

一句话总结

本文介绍 ReDial——一个包含10k条电影推荐对话的大型真实世界数据集，并提出一个结合分层编码、情感驱动情感分析，以及基于自编码器的推荐器并带切换解码器的模块化对话推荐神经架构。

ABSTRACT

There has been growing interest in using neural networks and deep learning techniques to create dialogue systems. Conversational recommendation is an interesting setting for the scientific exploration of dialogue with natural language as the associated discourse involves goal-driven dialogue that often transforms naturally into more free-form chat. This paper provides two contributions. First, until now there has been no publicly available large-scale dataset consisting of real-world dialogues centered around recommendations. To address this issue and to facilitate our exploration here, we have collected ReDial, a dataset consisting of over 10,000 conversations centered around the theme of providing movie recommendations. We make this data available to the community for further research. Second, we use this dataset to explore multiple facets of conversational recommendations. In particular we explore new neural architectures, mechanisms, and methods suitable for composing conversational recommendation systems. Our dataset allows us to systematically probe model sub-components addressing different parts of the overall problem domain ranging from: sentiment analysis and cold-start recommendation generation to detailed aspects of how natural language is used in this setting in the real world. We combine such sub-components into a full-blown dialogue system and examine its behavior.

研究动机与目标

• 提供一个真实世界的、面向电影推荐的两方对话语料库，以促进对话式推荐的研究。
• 开发并评估子任务的模块化神经组件：推荐生成、对所提及电影的用户意见情感分析，以及整合到对话系统中。
• 提出一种神经架构，可以通过切换解码器和动态情感驱动的推荐器，将明确的电影推荐融入对话中。
• 展示在更大数据源上对子组件进行预训练的好处，以应对端到端训练中的数据稀缺问题。

提出的方法

• 使用 AMT 进行招募，收集 ReDial 数据集，包含 10,006 条对话和 182,150 句话，采用 seeker/recommender 设置，强制使用电影提及与语言质量要求。
• 将 GenSen 句子表征作为固定输入，进入分层编码器（类似 HRED）以获得对话上下文表示。
• 引入情感分析 RNNs，动态实例化每条提及的电影情感分类器，以引导去噪自编码器式的推荐器。
• 在 MovieLens 上预训练的自编码器式推荐器用于冷启动推荐，并通过切换机制将其整合到解码器中，在词汇 token 与电影名 token 之间切换。
• 采用定制的切换解码器，在每一步使用推荐器的评分向量和上下文来生成下一轮话语，并在词汇与电影提及之间切换。
• 分开评估各组件，使用标准指标（情感预测准确性、推荐的 RMSE），并进行基于人类判定的逐句话进行对比，比较对象为 HRED 基线。

实验结果

研究问题

• RQ1 现实世界大规模对话数据集在自然语言中的推荐研究有哪些价值？
• RQ2 哪些架构和训练策略最能支持对话推荐的子任务（冷启动推荐、情感感知推理、及整合对话生成）？
• RQ3 具备预训练子组件的模块化神经系统是否能在以推荐为中心的对话上优于标准端到端对话模型？
• RQ4 将与提及电影相关的动态情感分析结合，是否能提升推荐质量和对话连贯性？

主要发现

• ReDial 提供一个公开获取的数据集，包含 10,006 条对话和 182,150 句话，便于对以推荐为焦点的对话进行结构化分析。
• 联合训练分层编码器与情感驱动、动态实例化的电影情感 RNN，可提高对用户意见的预测，并可引导推荐组件。
• 在 MovieLens 上进行去噪自编码器的预训练可提升冷启动推荐性能，当与切换解码器结合时，在句子级评估中比基线 HRED 获得更好对话回复。
• 模块化方法允许在更大数据集上对子组件进行预训练，这在端到端训练数据有限时可提升总体性能。
• 在人类评估中，所提出的模型在排序对话回复方面超越标准 HRED 基线，然而全面的人类互动评估仍有待进一步探索。