[论文解读] Sentiment Adaptive End-to-End Dialog Systems

Weiyan Shi, Zhou Yu|arXiv (Cornell University)|Apr 28, 2018

Speech and dialogue systems参考文献 37被引用 11

一句话总结

本文提出了一种情感自适应的端到端对话系统，将来自语音、文本和对话特征的多模态用户情感信息整合到监督学习与强化学习框架中。通过将实时情感检测作为上下文特征或即时奖励，该系统减少了对话轮次并提高了任务成功率，在公交车信息查询任务中达到了最先进性能。

ABSTRACT

End-to-end learning framework is useful for building dialog systems for its simplicity in training and efficiency in model updating. However, current end-to-end approaches only consider user semantic inputs in learning and under-utilize other user information. Therefore, we propose to include user sentiment obtained through multimodal information (acoustic, dialogic and textual), in the end-to-end learning framework to make systems more user-adaptive and effective. We incorporated user sentiment information in both supervised and reinforcement learning settings. In both settings, adding sentiment information reduced the dialog length and improved the task success rate on a bus information search task. This work is the first attempt to incorporate multimodal user information in the adaptive end-to-end dialog system training framework and attained state-of-the-art performance.

研究动机与目标

• 开发一种可端到端训练的对话系统，能够根据用户情感自适应调整，以提升用户满意度和交互效率。
• 解决当前端到端系统忽略用户情感的局限性，尽管情感在人机交互中至关重要。
• 将多模态情感信息（语音、文本、对话）整合到监督学习与强化学习训练框架中。
• 构建一种情感感知的对话策略，能够自动学习根据用户情绪状态调整回应，而无需人工规则设计。
• 通过在真实世界对话任务上的实证评估，证明情感整合的有效性。

提出的方法

• 利用语音特征（如音高、能量）、文本特征（如情感词典、嵌入表示）和对话特征（如打断次数、对话轮换模式）开发多模态情感检测器。
• 将情感检测器作为实时上下文特征，集成到基于监督学习的端到端对话策略网络中。
• 在强化学习框架中使用情感得分作为即时奖励，替代或补充传统的延迟任务成功奖励。
• 通过从带有情感标注的真实对话数据中采样用户情感，模拟强化学习训练中的用户情感，从而实现更快、更具适应性的策略学习。
• 采用序列到序列建模与注意力机制，端到端训练对话策略，实现理解、规划与生成的联合优化。
• 通过直接将情感反馈整合到强化学习目标中，实施奖励塑造，使模型能够学习情感敏感的回应策略，而无需人工设计奖励函数。

实验结果

研究问题

• RQ1 在端到端对话系统中整合多模态用户情感，是否能提升任务成功率并减少对话轮次？
• RQ2 在监督学习中，将实时情感作为上下文特征，对对话策略性能有何影响？
• RQ3 在强化学习中，使用情感得分作为即时奖励，能在多大程度上加速策略收敛并提升性能？
• RQ4 情感自适应的对话策略是否能无需显式基于规则的编程，自动学习细微的回应策略（如对负面情绪提供更详细的错误处理）？
• RQ5 与仅基于任务成功奖励的塑造方法相比，情感整合在模型适应性和用户满意度方面表现如何？

主要发现

• 在监督学习设置中，情感自适应模型（SRRIP）的收敛成功率达到了94.3%，显著优于基线模型（92.4%），p < 0.01。
• 该情感自适应系统通过学习在检测到负面情绪时提供更详细的错误处理回应，减少了对话轮次，例如使用'您要从哪里出发？比如，您可以说&lt;地点&gt;'，而非通用提示。
• 在强化学习中，使用情感作为即时奖励的模型（SRRIP）取得了最高的成功率（94.3%），表明其相比基线模型实现了更快、更有效的策略学习。
• 系统自动学习根据情感差异调整回应策略——在用户表现出沮丧时提供更多信息引导——而无需显式规则干预。
• 情感检测器通过训练多模态特征（包括打断等对话模式）实现了高可靠性，并支持对话过程中的实时适应。
• 由于其端到端、任务无关的训练流程，该方法在不同领域中具有良好的泛化能力，表明其在客服、医疗保健和教育等领域的广泛应用潜力。