[论文解读] Online Sequence-to-Sequence Reinforcement Learning for Open-Domain Conversational Agents

Nabiha Asghar, Pascal Poupart+2 more|arXiv (Cornell University)|Dec 12, 2016

Topic Modeling被引用 10

一句话总结

本文提出一种在线、端到端的神经序列到序列模型，用于开放域对话代理，结合离线监督学习与在线人类在回路的主动学习，采用单字用户反馈和汉明多样性束搜索。该方法可实现个性化对话生成，支持自定义角色、情绪和风格，无需手工设计的奖励函数，即可生成语义相关且引人入胜的回复。

ABSTRACT

We propose an online, end-to-end, neural generative conversational model for open-domain dialogue. It is trained using a unique combination of offline two-phase supervised learning and online human-in-the-loop active learning. While most existing research proposes offline supervision or hand-crafted reward functions for online reinforcement, we devise a novel interactive learning mechanism based on hamming-diverse beam search for response generation and one-character user-feedback at each step. Experiments show that our model inherently promotes the generation of semantically relevant and interesting responses, and can be used to train agents with customized personas, moods and conversational styles.

研究动机与目标

• 开发一种可训练的、端到端的对话代理，能够实时适应用户偏好。
• 克服对话策略学习中离线监督与手工设计奖励函数的局限性。
• 实现可自定义角色、情绪与对话风格的个性化对话系统。
• 设计一种交互式学习机制，仅使用最少用户反馈（单字回复）来引导回复生成。
• 通过一种新颖的束搜索策略，促进生成回复的语义相关性与多样性。

提出的方法

• 该模型采用两阶段训练流程：首先在离线对话数据上进行监督微调，随后进行在线主动学习。
• 在线学习在每一轮对话中使用单字用户反馈，提供即时、最小化的监督信号。
• 在回复生成阶段采用汉明多样性束搜索，以探索语义多样的回复候选。
• 交互循环将人类反馈整合到策略更新中，实现生成策略的实时适应。
• 通过依赖直接人类反馈而非手工设计奖励函数来塑造回复质量，避免了人工奖励函数的使用。
• 模型采用端到端训练，支持回复生成与策略适应的联合优化。

实验结果

研究问题

• RQ1 与离线监督相比，在线人类在回路学习是否能提升开放域对话系统的回复质量？
• RQ2 单字反馈在引导生成语义相关且多样的回复方面是否有效？
• RQ3 所提方法能否实现具有不同角色、情绪与对话风格的个性化对话代理？
• RQ4 汉明多样性束搜索是否能在无需复杂奖励设计的情况下提升回复的多样性与相关性？
• RQ5 在仅使用最少反馈的情况下，端到端训练能否在不依赖手工奖励函数的前提下实现优异性能？

主要发现

• 该模型在不依赖手工设计奖励函数的情况下，仍能生成语义相关且引人入胜的回复。
• 单字用户反馈能有效引导学习过程，实现对话策略的实时适应。
• 采用汉明多样性束搜索可促进生成回复的多样性，同时保持语义相关性。
• 系统成功支持了具备自定义角色、情绪与对话风格的代理训练。
• 离线预训练与在线主动学习的结合，相比纯离线方法，显著提升了回复质量。
• 该模型通过交互式学习展现出生成有趣且符合上下文回复的内在能力。