[论文解读] Recommendation as a Communication Game: Self-Supervised Bot-Play for Goal-oriented Dialogue

Dongyeop Kang, Anusha Balakrishnan+4 more|arXiv (Cornell University)|Sep 9, 2019

Topic Modeling参考文献 28被引用 7

一句话总结

本文提出了一种两阶段训练框架，用于在推荐任务中训练目标导向型对话智能体，采用了一项新颖的数据集 GoRecDial，该数据集捕捉了具有明确目标的人类之间关于电影推荐的对话。首先在人类示范数据上微调模型，随后通过自监督的智能体-智能体对弈进行精炼，该方法显著提升了对话策略，与仅使用监督学习的训练方式相比，目标达成率相对提高了 27.7%。

ABSTRACT

Traditional recommendation systems produce static rather than interactive recommendations invariant to a user's specific requests, clarifications, or current mood, and can suffer from the cold-start problem if their tastes are unknown. These issues can be alleviated by treating recommendation as an interactive dialogue task instead, where an expert recommender can sequentially ask about someone's preferences, react to their requests, and recommend more appropriate items. In this work, we collect a goal-driven recommendation dialogue dataset (GoRecDial), which consists of 9,125 dialogue games and 81,260 conversation turns between pairs of human workers recommending movies to each other. The task is specifically designed as a cooperative game between two players working towards a quantifiable common goal. We leverage the dataset to develop an end-to-end dialogue system that can simultaneously converse and recommend. Models are first trained to imitate the behavior of human players without considering the task goal itself (supervised training). We then finetune our models on simulated bot-bot conversations between two paired pre-trained models (bot-play), in order to achieve the dialogue goal. Our experiments show that models finetuned with bot-play learn improved dialogue strategies, reach the dialogue goal more often when paired with a human, and are rated as more consistent by humans compared to models trained without bot-play. The dataset and code are publicly available through the ParlAI framework.

研究动机与目标

• 解决静态、非交互式推荐系统无法适应用户请求、情绪或冷启动用户的问题。
• 创建一个大规模、以目标为导向的对话数据集，其基础是真实用户偏好（来自 MovieLens），而非合成或隐式偏好。
• 开发一种两阶段训练框架，结合监督模仿与自监督智能体对弈，以提升对话策略与目标达成能力。
• 评估智能体对弈微调是否能带来更有效、更一致且目标导向更强的对话智能体，以在人机交互中表现更优。

提出的方法

• 收集人类之间对话的数据集（GoRecDial），包含 9,125 场对话和 81,260 轮对话，其中一名玩家（专家）从五部电影中推荐一部，基于寻求者观看历史存在唯一正确目标。
• 通过在人类示范数据上进行端到端的监督微调，训练对话模型以模仿专家行为。
• 实施自监督的智能体对弈阶段，两个配对的预训练模型生成合成对话，以优化目标导向策略。
• 使用基于游戏的奖励信号，结合目标达成（正确推荐）与对话效率（对话轮数）。
• 利用模拟的智能体-智能体对话对模型进行微调，以提升策略性行为，如偏好获取与高效推荐。
• 在零样本设置下评估最终模型与人类寻求者的表现，并与仅使用监督学习的模型进行比较。

实验结果

研究问题

• RQ1 自监督智能体对弈微调是否能超越监督模仿，提升推荐智能体的目标导向对话策略？
• RQ2 引入真实用户偏好（来自 MovieLens）如何影响基于对话的推荐质量与一致性？
• RQ3 在人类示范数据上训练后，再通过智能体对弈微调，是否能相比仅使用监督学习，显著提高达成推荐目标的成功率？
• RQ4 在智能体对弈过程中，对话长度与策略如何演变，这种演变是否与性能提升相关？

主要发现

• 经过智能体对弈微调的 BERT-R 模型，其目标达成率相比仅使用监督学习的基线模型，相对提升了 27.7%。
• 尽管成功率提高，平均对话轮数从 1.4 增加到 3.2，表明更长、更具策略性的对话更有利于目标达成。
• 人类评估者认为，经过智能体对弈微调的模型在一致性和参与感方面显著优于仅使用监督学习的模型。
• 当与人类寻求者配对时，智能体对弈模型的表现优于监督模型，表明其与人类偏好和策略更具契合度。
• 经过智能体对弈训练的模型，即使在面对人类寻求者时，也展现出更强的偏好获取与准确推荐能力。
• 结果验证了自监督智能体对弈在学习复杂、目标导向的对话策略方面，在推荐任务中具有显著有效性。