[论文解读] Subgoal Discovery for Hierarchical Dialogue Policy Learning

Da Tang, Xiujun Li+4 more|arXiv (Cornell University)|Apr 20, 2018

Speech and dialogue systems被引用 3

一句话总结

本文提出子目标发现网络（Subgoal Discovery Network, SDN），一种无监督方法，可从成功的对话轨迹中自动识别有意义的子目标，以在复杂任务导向对话中实现层次强化学习（HRL）。通过检测在成功路径中频繁访问的“枢纽”状态，SDN 实现了无需人工定义子目标的高效策略学习，在模拟用户和真实用户场景下的旅行规划任务中，性能可与专家精心设计的子目标相媲美。

ABSTRACT

Developing agents to engage in complex goal-oriented dialogues is challenging partly because the main learning signals are very sparse in long conversations. In this paper, we propose a divide-and-conquer approach that discovers and exploits the hidden structure of the task to enable efficient policy learning. First, given successful example dialogues, we propose the Subgoal Discovery Network (SDN) to divide a complex goal-oriented task into a set of simpler subgoals in an unsupervised fashion. We then use these subgoals to learn a multi-level policy by hierarchical reinforcement learning. We demonstrate our method by building a dialogue agent for the composite task of travel planning. Experiments with simulated and real users show that our approach performs competitively against a state-of-the-art method that requires human-defined subgoals. Moreover, we show that the learned subgoals are often human comprehensible.

研究动机与目标

• 解决长而复杂的任务导向对话中稀疏奖励与低效探索的挑战。
• 消除在对话策略学习中使用层次强化学习（HRL）时对人工定义子目标的需求。
• 从成功的对话轨迹中自动发现可解释的、具有结构意义的子目标。
• 证明无监督子目标发现可实现与使用专家提供子目标的 HRL 相当的策略性能。
• 实现可扩展的、数据驱动的子目标发现方法，适用于现实世界对话系统。

提出的方法

• SDN 使用概率序列分割模型识别‘枢纽’状态——即在成功对话轨迹中频繁出现但在失败轨迹中罕见的状态。
• 将枢纽状态视为子目标，将对话划分为多个段落，每个段落对应一个独立的子任务。
• 该方法在发现的子目标上应用层次强化学习（HRL），其中高层策略选择子目标，低层策略执行原始动作。
• 在子目标边界处分配内在奖励，以在 HRL 框架中引导探索与信用分配。
• 该方法仅依赖成功对话轨迹，无需人工标注的子目标标签。
• 子目标发现为无监督方法，基于状态访问频率与轨迹结构，而非奖励塑造或奖励建模。

实验结果

研究问题

• RQ1 能否在无监督条件下，从成功的对话轨迹中自动发现子目标？
• RQ2 自动发现的子目标能否在复杂对话任务中实现有效的层次化策略学习？
• RQ3 使用自动发现子目标的性能与使用人工定义子目标的性能相比如何？
• RQ4 所发现的子目标是否对人类具有可解释性与意义？
• RQ5 该方法能否泛化至真实用户交互以及复杂的复合任务（如旅行规划）？

主要发现

• 使用 SDN 发现的子目标训练的对话智能体，在模拟用户和真实用户评估中，性能与使用人工定义子目标的最先进智能体相当。
• 使用 SDN 发现子目标的智能体显著优于无任何子目标的非层次化基线智能体。
• SDN 发现的子目标具有人类可理解性，通常对应于旅行规划过程中的自然里程碑，如选择目的地或预订航班。
• SDN 仅使用少量次优但成功的对话轨迹，成功识别出有意义的子目标，证明了其对噪声数据的鲁棒性。
• 该方法有效缓解了长时序对话任务中的稀疏奖励问题，并提升了探索效率。
• 结果表明，无监督子目标发现可作为 HRL 语音系统中专家定义子目标的可行替代方案。