[论文解读] Towards End-to-End Reinforcement Learning of Dialogue Agents for Information Access

Bhuwan Dhingra, Lihong Li+5 more|arXiv (Cornell University)|Sep 3, 2016

Topic Modeling参考文献 34被引用 36

一句话总结

本文提出了一种可微分的、概率性的 Soft-KB 查找机制，用于在端到端强化学习对话智能体中替代符号化数据库查询，实现了完全可微分和在线训练。该方法在任务成功率和奖励方面优于符号化方法，尽管在真实用户上存在过拟合现象，端到端智能体仍展现出强大的学习能力。

ABSTRACT

This paper proposes KB-InfoBot -- a multi-turn dialogue agent which helps users search Knowledge Bases (KBs) without composing complicated queries. Such goal-oriented dialogue agents typically need to interact with an external database to access real-world knowledge. Previous systems achieved this by issuing a symbolic query to the KB to retrieve entries based on their attributes. However, such symbolic operations break the differentiability of the system and prevent end-to-end training of neural dialogue agents. In this paper, we address this limitation by replacing symbolic queries with an induced "soft" posterior distribution over the KB that indicates which entities the user is interested in. Integrating the soft retrieval process with a reinforcement learner leads to higher task success rate and reward in both simulations and against real users. We also present a fully neural end-to-end agent, trained entirely from user feedback, and discuss its application towards personalized dialogue agents. The source code is available at https://github.com/MiuLab/KB-InfoBot.

研究动机与目标

• 解决对话智能体中非可微分符号查询带来的局限性，该局限性阻碍了端到端训练。
• 通过使知识库检索过程可微分，使强化学习智能体能够从用户反馈中学习。
• 设计一种完全神经网络化的、可端到端训练的对话智能体，用于信息检索，通过交互实现性能提升。
• 在模拟环境和真实用户场景下评估所提方法，并与符号查询基线进行性能对比。
• 探索一种结合稳健预训练智能体与个性化端到端学习器的部署策略，以实现长期适应。

提出的方法

• 基于智能体对用户指定属性的信念，用 KB 实体的软后验分布替代硬性符号 KB 查找。
• 通过在 KB 条目上使用学习到的注意力机制，将软查找构建为可微分函数，从而实现梯度在查找过程中的流动。
• 通过基于任务成功和对话效率的奖励设计，使用强化学习端到端训练对话策略。
• 使用用户模拟器在可扩展、可复现的环境中训练和评估智能体，再进行真实用户测试。
• 实现一个端到端神经智能体，仅通过用户反馈联合训练信念追踪器、策略和自然语言生成模块。
• 在 NLG 模块中应用温度缩放，以模拟噪声输入，评估鲁棒性和适应能力。

实验结果

研究问题

• RQ1 可微分的概率检索机制是否能改善对话智能体在知识库访问任务中的端到端训练？
• RQ2 Soft-KB 查找与符号化（Hard-KB）查找相比，在任务成功率和样本效率方面表现如何？
• RQ3 仅通过用户反馈训练的端到端神经智能体，尽管存在过拟合风险，是否仍能学习到有效的对话策略？
• RQ4 当输入出现噪声或未登录词时，智能体性能如何退化？其是否能适应此类条件？
• RQ5 一种结合稳健预训练智能体与个性化端到端学习器的可行部署策略是什么？

主要发现

• RL-Soft 智能体在人类评估中达到 74% 的成功率，在模拟器测试中达到 80%，表明过拟合程度极低。
• Rule-Soft 和 RL-Soft 智能体在成功率上均优于 RL-Hard，且 RL-Soft 在更少的对话轮次内达到相同成功率。
• 端到端（E2E-Soft）智能体在模拟环境中成功率最高（超过 80%），但在真实用户测试中表现较差，原因在于其过度拟合于模拟器有限的词汇表。
• E2E 智能体在噪声输入（如 NLG 输出中温度更高）下的适应能力优于其他智能体，展现出更强的学习能力。
• Soft-KB 框架实现了完全的端到端训练，强化学习者因从 KB 获得更丰富、可微分的反馈，从而发现了更优的对话策略。
• 所提出的部署策略——先使用 RL-Soft，再通过 E2E 进行微调——为实现个性化、自适应对话智能体提供了实用路径。