[论文解读] Show Us the Way: Learning to Manage Dialog from Demonstrations

Gabriel Gordon-Hall, Philip John Gorinski+2 more|arXiv (Cornell University)|Apr 17, 2020

Topic Modeling参考文献 41被引用 11

一句话总结

本文提出一种基于深度Q学习示范（DQfD）的强化学习方法，用于在多领域任务导向对话系统中训练对话管理策略。通过利用专家示范（无论是基于规则还是数据驱动的），该方法克服了ConvLab环境中稀疏奖励与高维状态-动作空间的挑战，其性能优于监督学习与标准强化学习基线模型，其中DQfD智能体在部分指标上甚至超越了专家表现。

ABSTRACT

We present our submission to the End-to-End Multi-Domain Dialog Challenge Track of the Eighth Dialog System Technology Challenge. Our proposed dialog system adopts a pipeline architecture, with distinct components for Natural Language Understanding, Dialog State Tracking, Dialog Management and Natural Language Generation. At the core of our system is a reinforcement learning algorithm which uses Deep Q-learning from Demonstrations to learn a dialog policy with the help of expert examples. We find that demonstrations are essential to training an accurate dialog policy where both state and action spaces are large. Evaluation of our Dialog Management component shows that our approach is effective - beating supervised and reinforcement learning baselines.

研究动机与目标

• 解决多领域任务导向对话系统中典型的大规模稀疏状态-动作空间下训练有效对话策略的挑战。
• 探究专家示范是否能够加速并提升对话管理强化学习中的策略学习效果。
• 在具有复杂高维状态与动作空间的真实对话基准（ConvLab）中，评估DQfD的有效性。
• 比较基于规则专家与数据驱动专家训练的DQfD性能，评估其对专家质量的鲁棒性。
• 识别端到端对话系统中由自然语言理解（NLU）与自然语言生成（NLG）错误级联引发的失败模式，并提出缓解策略。

提出的方法

• 将深度Q学习示范（DQfD）方法适配至对话领域，利用专家轨迹引导探索与策略学习。
• 采用经验回放与优先经验采样技术，使用DQfD训练对话管理策略，以稳定学习过程。
• 同时使用基于规则与数据驱动（VMLE）的专家示范训练DQfD智能体，实现模仿学习并最终超越专家表现。
• 采用端到端管道架构，包含独立的NLU、DST、DM与NLG模块，重点通过DQfD改进DM模块。
• 使用ConvLab用户模拟器进行系统评估，测量100次测试对话中的成功率、预订率与槽位F1分数。
• 通过分析NLU/NLG不匹配现象及其对对话状态追踪的影响，研究端到端对话系统中的错误传播机制。

实验结果

研究问题

• RQ1 DQfD能否在ConvLab多领域对话设置这类高维稀疏奖励环境中有效学习对话策略？
• RQ2 与标准深度Q网络相比，使用专家示范是否能显著提升样本效率与最终性能？
• RQ3 专家示范的质量如何影响DQfD训练智能体的性能表现？
• RQ4 为何系统在端到端评估中性能下降，相较于DA到DA评估，其根本原因是什么？
• RQ5 能否通过弱数据驱动专家训练的DQfD智能体超越专家自身表现？在何种条件下可实现？

主要发现

• 基于规则专家示范训练的DQfD智能体在精确率（86.92% vs. 86.00%）与预订率（75.23% vs. 74.00%）上优于完全基于规则的系统，表明其策略性能已超越专家行为。
• 基于质量较弱的数据驱动VMLE专家示范训练的DQfD智能体，其成功率（53.00%）与预订率（69.71%）均高于专家自身（50.00%与62.27%），表明DQfD可实现对专家的超越。
• 标准DQN因稀疏奖励与高维状态-动作空间而无法学习有效策略，仅达到42.00%成功率与49.33%预订率。
• 与DA到DA评估相比，端到端评估中性能显著下降，最佳规则系统的目标满足率从100%降至50%成功率，主要归因于NLU/NLG错误传播。
• 使用规则专家示范训练的DQfD智能体在端到端评估中实现63.67%成功率与69.71%预订率，优于DQN基线，展现出对系统级错误的鲁棒性。
• 错误分析显示，NLU/NLG交互不匹配（尤其是确认失败与话语误识别）导致状态追踪错误的级联传播，凸显了提升NLU与NLG组件可靠性的必要性。