[论文解读] Non-Autoregressive Dialog State Tracking

Hung Lê, Richard Socher+1 more|arXiv (Cornell University)|Feb 19, 2020

Topic Modeling参考文献 33被引用 25

一句话总结

本文提出非自回归对话状态追踪（NADST），一种新颖的框架，通过在槽位和标记层面建模依赖关系并利用学习到的生育率分数，实现并行联合预测对话状态。该方法在 MultiWOZ 2.1 上实现了最先进（SOTA）的联合准确率，且推理延迟比自回归基线低一个数量级。

ABSTRACT

Recent efforts in Dialogue State Tracking (DST) for task-oriented dialogues have progressed toward open-vocabulary or generation-based approaches where the models can generate slot value candidates from the dialogue history itself. These approaches have shown good performance gain, especially in complicated dialogue domains with dynamic slot values. However, they fall short in two aspects: (1) they do not allow models to explicitly learn signals across domains and slots to detect potential dependencies among (domain, slot) pairs; and (2) existing models follow auto-regressive approaches which incur high time cost when the dialogue evolves over multiple domains and multiple turns. In this paper, we propose a novel framework of Non-Autoregressive Dialog State Tracking (NADST) which can factor in potential dependencies among domains and slots to optimize the models towards better prediction of dialogue states as a complete set rather than separate slots. In particular, the non-autoregressive nature of our method not only enables decoding in parallel to significantly reduce the latency of DST for real-time dialogue response generation, but also detect dependencies among slots at token level in addition to slot and domain level. Our empirical results show that our model achieves the state-of-the-art joint accuracy across all domains on the MultiWOZ 2.1 corpus, and the latency of our model is an order of magnitude lower than the previous state of the art as the dialogue history extends over time.

研究动机与目标

• 为解决复杂多领域对话中自回归对话状态追踪模型的高推理延迟问题。
• 通过显式建模跨领域和槽位之间的依赖关系，提升联合对话状态准确率。
• 实现实时对话系统的并行解码，同时不降低性能。
• 不仅在槽位层面，也在槽值内部的标记层面建模依赖关系。
• 在保持或提升预测质量的前提下，减少对自回归生成的依赖。

提出的方法

• 该模型采用两阶段解码过程：首先预测每个输入标记的生育率分数，该分数决定该标记在生成结构化序列时被复制的次数。
• 生育率分数通过一个首先解码器学习得到，该解码器关注对话历史，并预测每个输入标记应被复制的次数。
• 将由此生成的结构化序列（即（槽位标记 × 生育率））输入第二个解码器，该解码器并行生成所有对话状态标记。
• 该方法引入槽门机制和位置编码，以提升表征学习和注意力对齐效果。
• 采用指针网络生成罕见或未登录词槽值，增强开放词汇设置下的覆盖能力。
• 通过在生育率增强的输入上应用自注意力机制，显式捕捉（领域，槽位）对之间的依赖关系，以及槽值内部的标记间依赖。

实验结果

研究问题

• RQ1 非自回归架构是否能在显著降低推理延迟的同时，实现对话状态追踪的最先进联合准确率？
• RQ2 建模生育率分数是否能提升结构化序列生成质量，并改善（领域，槽位，值）三元组的联合预测？
• RQ3 该模型是否能检测并利用槽值在槽位和标记两个层面的依赖关系？
• RQ4 与自回归基线相比，该非自回归模型在准确率和速度方面的性能表现如何？
• RQ5 槽门机制、位置编码和指针网络等组件在多大程度上提升了模型性能？

主要发现

• NADST 在 MultiWOZ 2.1 上实现了 66.65% 的联合准确率，创下新 SOTA 记录，优于此前所有方法。
• 该模型的推理延迟比此前 SOTA 模型低一个数量级，支持实时部署。
• 消融实验表明，若移除槽门或位置编码，性能下降超过 10 个百分点，表明二者具有关键作用。
• 该模型成功捕捉了标记层面的依赖关系，例如 'attraction-type' 与 'attraction-name' 之间的关联，从而提升了联合预测准确率。
• 自注意力权重的可视化结果证实，模型学习到了有意义的跨槽位依赖关系，例如 'train-departure' 与 'train-destination' 之间的关联。
• 该模型的自回归变体性能与非自回归版本相当，验证了生育率预测的有效性。