[论文解读] Sample-efficient Actor-Critic Reinforcement Learning with Supervised Data for Dialogue Management

Pei-Hao Su, Paweł Budzianowski+3 more|arXiv (Cornell University)|Jul 1, 2017

Speech and dialogue systems参考文献 47被引用 13

一句话总结

本文提出了一种样本高效的演员-评论家强化学习框架 TRACER 和 eNACER，结合监督演示数据的预训练，以加速对话管理中的早期学习。通过将信任区域与自然策略梯度结合经验回放，并利用离策略演示数据，该方法在低数据、在线用户交互设置下相比标准强化学习实现了更快的收敛速度和更优的初始性能。

ABSTRACT

Deep reinforcement learning (RL) methods have significant potential for dialogue policy optimisation. However, they suffer from a poor performance in the early stages of learning. This is especially problematic for on-line learning with real users. Two approaches are introduced to tackle this problem. Firstly, to speed up the learning process, two sample-efficient neural networks algorithms: trust region actor-critic with experience replay (TRACER) and episodic natural actor-critic with experience replay (eNACER) are presented. For TRACER, the trust region helps to control the learning step size and avoid catastrophic model changes. For eNACER, the natural gradient identifies the steepest ascent direction in policy space to speed up the convergence. Both models employ off-policy learning with experience replay to improve sample-efficiency. Secondly, to mitigate the cold start issue, a corpus of demonstration data is utilised to pre-train the models prior to on-line reinforcement learning. Combining these two approaches, we demonstrate a practical approach to learn deep RL-based dialogue policies and demonstrate their effectiveness in a task-oriented information seeking domain.

研究动机与目标

• 解决深度强化学习在在线对话系统中学习缓慢和初始性能差的问题。
• 克服真实用户部署中初始策略导致用户体验欠佳的冷启动问题。
• 通过信任区域与自然梯度优化结合经验回放，提升演员-评论家强化学习的样本效率。
• 证明监督演示数据可被有效利用，在在线强化学习微调前对策略进行预训练。
• 评估所提方法在噪声用户输入条件下的鲁棒性，并与高斯过程强化学习基线进行比较。

提出的方法

• 提出 TRACER，一种基于信任区域的演员-评论家算法，通过约束策略更新防止灾难性变化，提升稳定性。
• 提出 eNACER，一种基于回合的自然演员-评论家方法，利用策略空间中的自然梯度上升加速收敛。
• 将经验回放集成到 TRACER 和 eNACER 中，以支持离策略学习并提升数据效率。
• 在在线强化学习微调前，使用来自 Wizard-of-Oz 语料库的监督演示数据对策略网络进行预训练。
• 在 TRACER 中通过联合训练目标结合监督损失与强化学习目标，而 eNACER 由于架构差异采用独立预训练。
• 使用经验回放缓冲区存储监督和强化学习经验，并在训练期间以相等批次采样（每类各 64 个）

实验结果

研究问题

• RQ1 信任区域与自然梯度方法是否能提升深度演员-评论家强化学习在对话策略学习中的样本效率？
• RQ2 使用监督演示数据进行预训练在缓解在线对话系统冷启动问题方面有多有效？
• RQ3 将监督预训练与离策略强化学习结合，是否能实现比从零开始训练更快的收敛速度和更优的初始性能？
• RQ4 与高斯过程强化学习相比，所提方法在噪声用户输入下的表现如何？
• RQ5 是否可以在不改变网络架构的前提下，实现监督数据与强化学习的有效整合，同时保持性能？

主要发现

• 结合监督预训练的 TRACER 实现了最佳整体性能，相比其他方法展现出更快的学习速度和更优的初始策略质量。
• 监督预训练与强化学习微调的结合显著提升了初期阶段性能，用户模拟中的成功率从随机策略基线（15%）提升至 70% 以上。
• eNACER 结合监督预训练后初始性能有所改善，但学习速度慢于 TRACER，可能由于监督学习与 eNACER 目标之间参数分布不匹配。
• 仅使用演示数据训练的 TRACER 模型在未进行在线强化学习的情况下，成功率仍超过 70%，表明监督数据具有强大的泛化能力。
• 在高语义错误率下性能下降更快，表明深度网络可能比基于高斯过程的模型对不确定性更不鲁棒。
• 使用监督经验回放缓冲区的 A2C（A2C ER+SL_model+replay）取得了最佳结果，证实了在统一训练框架中结合监督学习与强化学习的有效性。