[论文解读] User Modeling for Task Oriented Dialogues

İzzeddin Gür, Dilek Hakkani‐Tür+2 more|arXiv (Cornell University)|Nov 11, 2018

Speech and dialogue systems参考文献 18被引用 15

一句话总结

本文提出了一种分层序列到序列用户模拟器（HUS），用于任务导向对话，通过使用RNN端到端地编码用户目标和对话历史，实现对话策略的稳健训练与评估。主要贡献在于一种目标正则化机制，可减少对话长度并提高成功率，同时其变分扩展版本增强了响应多样性。

ABSTRACT

We introduce end-to-end neural network based models for simulating users of task-oriented dialogue systems. User simulation in dialogue systems is crucial from two different perspectives: (i) automatic evaluation of different dialogue models, and (ii) training task-oriented dialogue systems. We design a hierarchical sequence-to-sequence model that first encodes the initial user goal and system turns into fixed length representations using Recurrent Neural Networks (RNN). It then encodes the dialogue history using another RNN layer. At each turn, user responses are decoded from the hidden representations of the dialogue level RNN. This hierarchical user simulator (HUS) approach allows the model to capture undiscovered parts of the user goal without the need of an explicit dialogue state tracking. We further develop several variants by utilizing a latent variable model to inject random variations into user responses to promote diversity in simulated user responses and a novel goal regularization mechanism to penalize divergence of user responses from the initial user goal. We evaluate the proposed models on movie ticket booking domain by systematically interacting each user simulator with various dialogue system policies trained with different objectives and users.

研究动机与目标

• 开发端到端的神经用户模拟器，以消除任务导向对话系统中对显式对话状态追踪的需求。
• 实现可扩展、多样化且逼真的用户行为建模，用于对话策略的训练与评估。
• 解决现有模拟器的局限性，如响应多样性不足以及对标注对话状态的过度依赖。
• 通过潜在变量建模模拟多样化的用户行为，提升对话策略的鲁棒性。
• 通过生成自然且与目标一致的对话来提升评估的保真度，以反映真实用户交互。

提出的方法

• 提出一种分层序列到序列用户模拟器（HUS），利用RNN将用户目标和系统回合编码为固定长度表示，再通过对话级RNN建模历史。
• 从对话历史表示中解码每一轮的用户响应，实现隐式用户目标追踪，无需显式状态追踪。
• 引入一种变分框架（VHUS），通过潜在变量注入随机性，提升响应多样性。
• 开发一种目标正则化机制，惩罚用户响应与初始用户目标之间的偏差，以促进目标导向且简洁的对话。
• 使用基于模板的自然语言生成方法，将对话行为转换为自然语言话语，用于评估。
• 采用监督学习与强化学习相结合的对话策略，在系统性交互实验中评估用户模拟器。

实验结果

研究问题

• RQ1 端到端的神经用户模拟器是否能在无需显式对话状态追踪的情况下，有效替代传统流水线式用户建模方法？
• RQ2 在用户响应中引入潜在可变性，如何影响模拟对话的多样性与真实性？
• RQ3 目标正则化在不同对话策略架构下，能在多大程度上提升对话效率与成功率？
• RQ4 不同用户模拟器在人类评估中，于自然度与语境适宜性方面表现如何？
• RQ5 变分建模与目标正则化的结合，是否能更优地平衡响应多样性与对话有效性？

主要发现

• 目标正则化机制（HUSReg）显著减少了平均对话长度，通过最小化冗余或循环交互，使对话更短且更聚焦于目标。
• HUSReg在人类评估中取得了最高的任务完成率（平均得分4.88）和最低的标准差，优于基线模拟器与基于议程的模型。
• 基于强化学习的对话策略对用户响应变化更具鲁棒性，在多样化模拟用户行为下仍能保持高性能。
• 变分用户模拟器（VHUS）及其正则化变体（VHUSReg）在熵与困惑度指标上均表现出最高的响应多样性得分，证实了潜在变量建模的有效性。
• 人类评估显示，所有提出的模拟器均生成了高度自然且语境恰当的响应，其中VHUSReg在多样性与连贯性之间达到了最佳平衡。
• 在HUS中引入对话长度作为特征，在不损害响应多样性的情况下，提升了任务成功率与对话长度表现。