[论文解读] Speaker Role Contextual Modeling for Language Understanding and Dialogue Policy Learning

Ta-Chung Chi, Po-Chun Chen+2 more|arXiv (Cornell University)|Sep 30, 2017

Topic Modeling被引用 19

一句话总结

本文提出了一种基于角色的上下文模型，通过在多轮对话中分别编码说话人角色（如游客与导游），提升了语言理解与对话策略学习的效果。通过使用双向LSTM和注意力机制建模角色特定的上下文表征，该方法在基线模型忽略说话人角色的情况下，实现了显著提升——语言理解的F1值相对提高5.1%，对话策略学习的F1值相对提高6.3%。

ABSTRACT

Language understanding (LU) and dialogue policy learning are two essential components in conversational systems. Human-human dialogues are not well-controlled and often random and unpredictable due to their own goals and speaking habits. This paper proposes a role-based contextual model to consider different speaker roles independently based on the various speaking patterns in the multi-turn dialogues. The experiments on the benchmark dataset show that the proposed role-based model successfully learns role-specific behavioral patterns for contextual encoding and then significantly improves language understanding and dialogue policy learning tasks.

研究动机与目标

• 为解决人类-人类对话中多样的说话模式建模挑战，其中说话人角色显著影响语言使用与理解。
• 通过显式建模说话人角色而非将所有话语统一处理，以改善语言理解（LU）与对话策略学习（DPL）。
• 探究基于角色的上下文编码是否能带来更优的语义表征学习与下游任务性能。
• 证明建模说话人角色可同时提升任务型对话中的意图预测与系统动作预测性能。
• 提供一种实用的、端到端可训练的框架，利用角色感知上下文，且在推理阶段无需真实语义标注。

提出的方法

• 模型使用双向LSTM（BLSTM）编码当前话语，并将其与基于先前话语生成的历史摘要向量相结合。
• 为每位说话人角色（游客/用户与导游/系统）分别应用上下文编码，基于说话人特定模式学习独立的历史表征。
• 通过注意力机制更新历史摘要向量，根据与当前语境的相关性对先前话语进行加权。
• 采用交叉熵损失端到端训练模型，以最小化语言理解与对话策略学习任务中预测分布与真实标签分布之间的差异。
• 通过使用真实意图-属性对作为中间监督信号，在训练过程中引导模型提升句子表征质量。
• 架构采用预训练的GloVe词嵌入，结合使用最大池化的CNN进行句子编码，随后通过最终的分类层实现多标签预测。

实验结果

研究问题

• RQ1 与标准上下文建模相比，独立建模说话人角色是否能提升多轮对话中的语言理解效果？
• RQ2 在任务型对话中，基于角色的上下文编码是否能带来更好的对话策略学习性能？
• RQ3 使用真实语义标签与使用自然语言话语作为上下文表征，对模型性能有何影响？
• RQ4 通过语义标签进行中间监督在多大程度上提升了所学上下文表征的质量？
• RQ5 鉴于用户行为的多样性，该提出的基于角色的模型在理解用户意图方面是否比预测系统动作更有效？

主要发现

• 所提出的基于角色的模型在语言理解任务上达到69.2%的F1分数，相比忽略说话人角色的基线模型相对提升5.1%。
• 在对话策略学习任务中，模型达到65.8%的F1分数，相比基线模型相对提升6.3%。
• 使用真实语义标签作为上下文（Contextual-Sem）可达到语言理解任务的上限性能，F1为68.2%，证实了显式语义上下文的价值。
• 在训练中引入中间指导（使用语义标签）的模型相比无指导版本，在语言理解任务上提升0.9%，在对话策略学习任务上提升0.7%。
• 该模型优于DSTC4 2016年最佳参赛基线模型，后者在语言理解任务上仅达到62.6%的F1分数，证明了其有效性。
• 结果表明，用户意图理解比系统动作预测更具挑战性，可能是因为用户行为的多样性远高于导游回复的可预测性。