[论文解读] Towards Learning Transferable Conversational Skills using Multi-dimensional Dialogue Modelling

Simon Keizer, Verena Rieser|arXiv (Cornell University)|Mar 31, 2018

Speech and dialogue systems参考文献 15被引用 6

一句话总结

本文提出了一种多维对话管理框架，将领域无关的对话技能（如轮流发言、反馈和社交规范）分离为独立的对话行为维度，通过多智能体强化学习实现可迁移的策略学习。初步实验表明，从源领域迁移策略可显著加速在新目标领域的训练，展现出更高的样本效率和稳定性。

ABSTRACT

Recent statistical approaches have improved the robustness and scalability of spoken dialogue systems. However, despite recent progress in domain adaptation, their reliance on in-domain data still limits their cross-domain scalability. In this paper, we argue that this problem can be addressed by extending current models to reflect and exploit the multi-dimensional nature of human dialogue. We present our multi-dimensional, statistical dialogue management framework, in which transferable conversational skills can be learnt by separating out domain-independent dimensions of communication and using multi-agent reinforcement learning. Our initial experiments with a simulated user show that we can speed up the learning process by transferring learnt policies.

研究动机与目标

• 解决当前统计对话系统在跨领域扩展性方面的局限性，其高度依赖领域内训练数据。
• 通过识别并隔离领域无关的对话维度（如反馈、轮流发言和社交义务），突破领域特定策略学习的瓶颈。
• 通过在这些独立维度上使用多智能体强化学习训练可迁移策略，实现在新领域中的高效跨领域适应。
• 通过模拟用户实验，证明跨领域迁移对话技能的可行性，减少训练时间并提升稳定性。

提出的方法

• 基于ISO标准建立多维对话行为分类体系，包含任务、自动反馈、轮流管理和社会义务等九个核心维度。
• 实现一个统计对话管理器，其中每个维度由独立的MDP智能体管理，通过具有共享和维度特定奖励函数的多智能体强化学习进行训练。
• 使用用户模拟器在模拟环境中训练和评估系统，实现在无需从头开始训练的情况下实现跨领域策略迁移。
• 将奖励函数分解为维度特定的组件，以支持独立学习，同时通过动作组合规则保持协调。
• 采用值函数近似（如线性模型）进行策略优化，计划进一步扩展至深度神经网络以处理更大状态和动作空间。
• 通过预定义的组合规则确保来自不同维度的对话行为候选之间保持逻辑一致性，同时允许在多行为响应中保持灵活性。

实验结果

研究问题

• RQ1 能否有效分离并建模领域无关的对话技能为独立的对话行为维度？
• RQ2 在新领域中，于一个领域上学习的策略在多大程度上可加速未见领域的训练？
• RQ3 与传统的单维策略学习相比，基于多维对话行为的多智能体强化学习在训练速度和稳定性方面表现如何？
• RQ4 维度特定奖励函数在实现多个对话管理智能体稳定高效联合训练方面发挥何种作用？
• RQ5 如何在不退化为单体单维策略的情况下，维持多个独立MDP智能体之间的协调？

主要发现

• 与单维基线相比，采用迁移学习的多维系统在早期训练阶段表现出一致的性能提升。
• 在第一种迁移设置（相同领域）中，多维系统相比单维系统实现了更快的收敛和更稳定的训练曲线。
• 即使在第二种迁移设置（不同领域）中，多维系统也表现出可测量的改进，尽管稳定性稍弱，表明跨领域迁移是可行的，但对领域差异较为敏感。
• 通过复用反馈和轮流发言等领域无关维度的预训练策略，系统在新领域中实现了更快的学习速度。
• 维度特定奖励函数与协调动作选择的结合，实现了多个MDP智能体的稳定联合训练，而无需完全重新训练。
• 初步结果表明，多维方法在适应新任务时减少了重新学习基本对话行为的需求，支持了可迁移对话技能的假设。