[论文解读] Towards End-to-End Learning for Dialog State Tracking and Management using Deep Reinforcement Learning

Tiancheng Zhao, Maxine Eskénazi|arXiv (Cornell University)|Jun 8, 2016

Speech and dialogue systems参考文献 26被引用 131

一句话总结

本论文提出一个端到端的任务型对话框架，使用一个与数据库接口的深度循环Q网络（Deep Recurrent Q-Network），并引入一个结合强化学习与监督学习的混合RL方法以加速训练，在20Q游戏上进行评估。

ABSTRACT

This paper presents an end-to-end framework for task-oriented dialog systems using a variant of Deep Recurrent Q-Networks (DRQN). The model is able to interface with a relational database and jointly learn policies for both language understanding and dialog strategy. Moreover, we propose a hybrid algorithm that combines the strength of reinforcement learning and supervised learning to achieve faster learning speed. We evaluated the proposed model on a 20 Question Game conversational game simulator. Results show that the proposed method outperforms the modular-based baseline and learns a distributed representation of the latent dialog state.

研究动机与目标

• 推动用一个端到端可学习模块取代模块化的 NLU、DST 和对话策略，以实现任务型对话。
• 在强化学习框架内通过象征性查询式动作实现与结构化数据库的交互。
• 联合学习状态跟踪和对话策略，以实现更好的端到端性能和数据效率。
• 在有标签数据可用时利用它来加速学习，同时在 DST 标签薄弱或缺失时仍能工作。

提出的方法

• 使用一种变体的 Deep Recurrent Q-Networks (DRQN)，配备基于 LSTM 的状态跟踪器，将对话历史累积为信念类似的状态。
• 通过特殊动作来表示数据库交互，这些动作修改查询假设并返回数据库观测值与奖励。
• 实现多种策略网络：一个用于口头动作，另一个用于槽位填充动作，共享一个基于 LSTM 的状态表示。
• 引入混合 RL 方法，在状态跟踪标签可用时结合监督信号以加速学习。
• 应用奖励塑形和受限动作屏蔽以提高样本效率和策略引导。
• 可选地从已知数据库动态生成合成经验以加速学习（类似 Dyna 的思想）。

实验结果

研究问题

• RQ1 端到端的 RL 能否联合学习对话状态跟踪和对话策略，从而超越模块化基线？
• RQ2 通过象征性动作与数据库接口，是否能改善端到端学习和信息获取？
• RQ3 是否可以整合监督信号以加速学习，同时不牺牲端到端优化？
• RQ4 所学习的对话状态表示是否有意义，且是否能够支持跨回合的规划？

主要发现

• 端到端模型在 20Q 的胜率和交互效率方面优于模块化基线。
• 基线：68.5% 的胜率，平均 12.2 回合；RL：85.6% 的胜率，21.6 回合；Hybrid-RL：90.5% 的胜率，19.22 回合。
• RL 与 Hybrid-RL 收敛更快，且性能高于仅 RL；Hybrid-RL 在探索和状态跟踪信号之间取得平衡。
• RL 方法发展出一种不同的更高精度状态跟踪行为，常通过预测未知来避免错误的确定标签。
• 学习到的对话状态（LSTM 输出）与真实潜在对话状态相关，并可用于重构诸如猜测次数等方面。
• 研究证实端到端信念状态样表示通过联合优化出现，且可近似真实的对话状态。