[论文解读] SUMBT+LaRL: End-to-end Neural Task-oriented Dialog System with Reinforcement Learning

Hwaran Lee, Seokhwan Jo+3 more|arXiv (Cornell University)|Sep 22, 2020

Topic Modeling参考文献 41被引用 11

一句话总结

本文提出 SUMBT+LaRL，一种基于强化学习联合优化用户信念追踪与潜在响应生成的端到端神经任务导向对话系统。通过分别对 SUMBT+ 进行用户信念状态估计的预训练，以及对 LaRL 进行潜在动作建模的预训练，随后进行端到端微调，该系统在 DSTC8 挑战赛中实现了新的最先进性能：在基于语料的评估中成功率达到 85.4%，在基于模拟器的评估中成功率达到 81.40%。

ABSTRACT

The recent advent of neural approaches for developing each dialog component in task-oriented dialog systems has remarkably improved, yet optimizing the overall system performance remains a challenge. In this paper, we propose an end-to-end trainable neural dialog system with reinforcement learning, named SUMBT+LaRL. The SUMBT+ estimates user-acts as well as dialog belief states, and the LaRL models latent system action spaces and generates responses given the estimated contexts. We experimentally demonstrate that the training framework in which the SUMBT+ and LaRL are separately pretrained and then the entire system is fine-tuned significantly increases dialog success rates. We propose new success criteria for reinforcement learning to the end-to-end dialog system as well as provide experimental analysis on a different result aspect depending on the success criteria and evaluation methods. Consequently, our model achieved the new state-of-the-art success rate of 85.4% on corpus-based evaluation, and a comparable success rate of 81.40% on simulator-based evaluation provided by the DSTC8 challenge.

研究动机与目标

• 为解决尽管在组件级建模方面取得进展，但在神经任务导向对话系统整体性能优化方面仍面临的挑战。
• 开发一种可端到端训练的架构，将用户信念追踪与响应生成通过强化学习进行整合。
• 通过两阶段训练框架（预训练后联合微调）提升对话成功率。
• 提出新的成功标准与评估方法，专门针对端到端对话系统中的强化学习进行优化。

提出的方法

• SUMBT+ 组件使用神经序列模型估计用户行为并维护对话信念状态。
• LaRL 组件通过强化学习框架对潜在系统动作空间进行建模，并生成上下文感知的响应。
• 该系统采用两阶段训练策略：先独立预训练 SUMBT+ 和 LaRL，然后对整个模型进行端到端微调。
• 强化学习用于优化整体对话策略，奖励函数基于新的成功标准进行设计。
• 该架构将信念状态估计与响应生成整合到一个统一的、可联合训练的框架中。
• 成功标准被重新定义，以更好地与端到端对话系统中的任务完成目标保持一致。

实验结果

研究问题

• RQ1 与从零开始的联合训练相比，两阶段预训练与微调策略是否能提升端到端对话系统的性能？
• RQ2 不同的成功标准如何影响基于强化学习的对话系统的评估与训练？
• RQ3 LaRL 中潜在动作建模在多大程度上能提升响应质量与任务成功率？
• RQ4 将信念追踪与响应生成整合到单一端到端框架中，是否能带来更高的成功率？
• RQ5 该系统在基于语料和基于模拟器的评估中，与最先进模型相比表现如何？

主要发现

• 所提出的 SUMBT+LaRL 系统在基于语料的评估中实现了 85.4% 的新最先进成功率。
• 在基于 DSTC8 基准的模拟器评估中，系统成功率达到 81.40%，展现出强大的泛化能力。
• 两阶段训练策略（预训练后端到端微调）相比其他训练方案，显著提升了对话成功率。
• 引入新的成功标准，使基于强化学习的对话系统评估更加可靠且具有实际意义。
• 该模型在基于语料和基于模拟器的评估中均优于现有方法，证实了其有效性。