[论文解读] Retrospective and Prospective Mixture-of-Generators for Task-oriented Dialogue Response Generation

Jiahuan Pei, Pengjie Ren+2 more|arXiv (Cornell University)|Nov 19, 2019

Topic Modeling参考文献 34被引用 5

一句话总结

该论文提出MoGNet，一种面向任务导向对话响应生成的生成器混合网络，通过一个主控生成器（chair generator）协调针对不同意图的专用专家生成器，采用回顾性（RMoG）与前瞻性（PMoG）协调策略。MoGNet在MultiWOZ基准上的自动评估与人工评估中显著优于最先进方法，通过意图特定专业化与长距离上下文建模，实现了响应质量与可解释性的提升。

ABSTRACT

Dialogue response generation (DRG) is a critical component of task-oriented dialogue systems (TDSs). Its purpose is to generate proper natural language responses given some context, e.g., historical utterances, system states, etc. State-of-the-art work focuses on how to better tackle DRG in an end-to-end way. Typically, such studies assume that each token is drawn from a single distribution over the output vocabulary, which may not always be optimal. Responses vary greatly with different intents, e.g., domains, system actions. We propose a novel mixture-of-generators network (MoGNet) for DRG, where we assume that each token of a response is drawn from a mixture of distributions. MoGNet consists of a chair generator and several expert generators. Each expert is specialized for DRG w.r.t. a particular intent. The chair coordinates multiple experts and combines the output they have generated to produce more appropriate responses. We propose two strategies to help the chair make better decisions, namely, a retrospective mixture-of-generators (RMoG) and prospective mixture-of-generators (PMoG). The former only considers the historical expert-generated responses until the current time step while the latter also considers possible expert-generated responses in the future by encouraging exploration. In order to differentiate experts, we also devise a global-and-local (GL) learning scheme that forces each expert to be specialized towards a particular intent using a local loss and trains the chair and all experts to coordinate using a global loss. We carry out extensive experiments on the MultiWOZ benchmark dataset. MoGNet significantly outperforms state-of-the-art methods in terms of both automatic and human evaluations, demonstrating its effectiveness for DRG.

研究动机与目标

• 为解决现有对话响应生成模型假设每个标记均来自单一分布的局限，该假设无法捕捉响应中的意图特定差异。
• 通过为每种意图（如领域或系统动作）启用专用专家生成器，并由中央主控生成器进行协调，提升响应质量与可解释性。
• 通过融合过去（回顾性）与未来（前瞻性）的专家预测，增强主控生成器的决策能力，实现更优的长距离上下文感知。
• 设计一种有效的训练方案，通过全局与局部（GL）学习机制，平衡专家专业化与整体协调性。
• 在大规模基准上验证MoGNet各组件（RMoG、PMoG与GL）的有效性，证明其性能优于现有方法。

提出的方法

• MoGNet采用模块化架构，包含一个主控生成器与多个专家生成器，每个专家针对特定意图（如预订酒店或出租车）进行专业化。
• 主控生成器通过注意力机制聚合所有专家的输出，逐标记生成最终响应。
• 回顾性生成器混合（RMoG）使主控生成器仅考虑截至当前时间步的过去专家生成响应。
• 前瞻性生成器混合（PMoG）在RMoG基础上引入专家对未来的预测响应，使主控生成器能够预判并做出更优决策。
• 全局与局部（GL）学习方案使用局部损失强制每种意图下的专家专业化，同时使用全局损失协调主控生成器与所有专家，以生成连贯且符合任务要求的响应。
• 模型在MultiWOZ数据集上端到端训练，采用交叉熵损失与调度采样，推理过程为自回归生成。

实验结果

研究问题

• RQ1 与单生成器模型相比，采用意图专业化专家的生成器混合架构是否能提升任务导向对话系统中的响应质量？
• RQ2 通过PMoG整合回顾性与前瞻性专家预测，是否能带来优于仅依赖过去上下文的响应生成效果？
• RQ3 GL学习方案在平衡专家专业化与全局协调性方面，能在多大程度上提升模型性能？
• RQ4 在MultiWOZ基准上，MoGNet在自动评估与人工评估指标上与最先进方法相比表现如何？
• RQ5 MoGNet是否可通过识别专家贡献实现故障分析，从而提升可解释性？

主要发现

• MoGNet在MultiWOZ基准上达到最先进性能，在自动评估与人工评估中均优于先前方法。
• 引入PMoG后，响应更准确且上下文更恰当，尤其在需要长距离规划的任务中表现更优，如正确包含时间与价格信息。
• GL学习方案显著提升模型性能，确保专家在每种意图下有效专业化，同时保持全局连贯性。
• 消融实验表明，移除PMoG或GL会导致性能明显下降，其中PMoG在捕捉时间与价格等依赖未来属性方面尤为关键。
• 与基线模型相比，MoGNet减少了冗余与过长的响应，表明其更契合任务完成目标。
• 人工评估确认，MoGNet生成的响应在流畅性、相关性与任务合规性方面均优于现有方法。