[论文解读] Personalizing a Dialogue System with Transfer Reinforcement Learning

Kaixiang Mo, Shuangyin Li+3 more|arXiv (Cornell University)|Oct 10, 2016

Speech and dialogue systems参考文献 20被引用 23

一句话总结

该论文提出PETAL，一种基于POMDP的迁移强化学习框架，通过从多个用户的源领域学习共享对话知识，并利用个性化Q函数将其适应到个体目标用户，从而个性化任务导向对话系统。该方法通过建模用户特定偏好有效避免了负迁移，在真实世界和模拟的咖啡点单数据集上实现了更优的对话质量与更快的收敛速度。

ABSTRACT

It is difficult to train a personalized task-oriented dialogue system because the data collected from each individual is often insufficient. Personalized dialogue systems trained on a small dataset can overfit and make it difficult to adapt to different user needs. One way to solve this problem is to consider a collection of multiple users' data as a source domain and an individual user's data as a target domain, and to perform a transfer learning from the source to the target domain. By following this idea, we propose "PETAL"(PErsonalized Task-oriented diALogue), a transfer-learning framework based on POMDP to learn a personalized dialogue system. The system first learns common dialogue knowledge from the source domain and then adapts this knowledge to the target user. This framework can avoid the negative transfer problem by considering differences between source and target users. The policy in the personalized POMDP can learn to choose different actions appropriately for different users. Experimental results on a real-world coffee-shopping data and simulation data show that our personalized dialogue system can choose different optimal actions for different users, and thus effectively improve the dialogue quality under the personalized setting.

研究动机与目标

• 解决在用户特定数据有限的情况下训练个性化任务导向对话系统的挑战。
• 缓解从多样化源领域向具有不同偏好的目标用户迁移对话知识时可能产生的负迁移问题。
• 开发一种个性化策略学习框架，将通用对话知识适配到个体用户行为。
• 通过用户特定的策略适配提升对话质量并减少对话长度。

提出的方法

• PETAL系统采用基于POMDP的框架，通过结合通用奖励信号与个人奖励信号的个性化Q函数来建模对话策略学习。
• 它从包含多个具有共享偏好和行为的用户的源领域中学习共有的对话知识。
• 个性化Q函数显式建模源用户与目标用户之间的差异，以防止负迁移。
• 系统在真实世界和模拟对话数据上进行训练，采用鼓励任务完成和高效对话流程的奖励函数。
• 根据当前对话状态和用户特定策略，动态从候选响应中选择最优响应。
• 该框架无需手动定义状态空间，支持从原始对话数据端到端学习。

实验结果

研究问题

• RQ1 从多样化用户源领域进行迁移学习是否能提升对个体目标用户的个性化对话策略学习？
• RQ2 对话系统如何有效将共享知识适配到个体用户偏好，同时避免负迁移？
• RQ3 建模个性化未来预期奖励在多大程度上能提升对话策略性能？
• RQ4 基于POMDP的框架结合个性化Q函数是否能在对话质量与效率方面超越非个性化方法和基线迁移方法？

主要发现

• PETAL在真实世界和模拟数据集上均获得了最高的平均奖励，表明其策略优化性能更优。
• 该系统在任务完成成功率方面表现最佳，证明其在多样化用户类型下具备更高的可靠性。
• 与基线方法相比，PETAL显著缩短了对话长度，表明其对话更快速高效。
• 由PETAL实现的个性化对话策略能够根据个体用户偏好动态调整响应，例如识别重复订单或处理异常情况。
• 在模拟实验中，PETAL优于将所有用户视为统一处理的'All'基线模型，通过针对个体用户习惯定制问题实现更优表现。
• 该框架通过在Q函数中建模用户特定差异，成功避免了负迁移，即使目标用户与源领域用户偏好显著不同亦然。