[论文解读] Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems

Chien-Sheng Wu, Andrea Madotto+4 more|arXiv (Cornell University)|May 21, 2019

Speech and dialogue systems参考文献 43被引用 42

一句话总结

TRADE 生成跨领域可迁移的对话状态，无需预定义本体，实现零-shot 与少样本领域自适应，同时在 MultiWOZ 上达到强劲的联合目标和槽位准确率。

ABSTRACT

Over-dependence on domain ontology and lack of knowledge sharing across domains are two practical and yet less studied problems of dialogue state tracking. Existing approaches generally fall short in tracking unknown slot values during inference and often have difficulties in adapting to new domains. In this paper, we propose a Transferable Dialogue State Generator (TRADE) that generates dialogue states from utterances using a copy mechanism, facilitating knowledge transfer when predicting (domain, slot, value) triplets not encountered during training. Our model is composed of an utterance encoder, a slot gate, and a state generator, which are shared across domains. Empirical results demonstrate that TRADE achieves state-of-the-art joint goal accuracy of 48.62% for the five domains of MultiWOZ, a human-human dialogue dataset. In addition, we show its transferring ability by simulating zero-shot and few-shot dialogue state tracking for unseen domains. TRADE achieves 60.58% joint goal accuracy in one of the zero-shot domains, and is able to adapt to few-shot cases without forgetting already trained domains.

研究动机与目标

• 解决使用固定本体的DST带来的困难以及缺乏跨域知识共享的问题。
• 使得对未知槽位值的跟踪成为可能，并在领域之间迁移知识。
• 开发一个共享的、无本体的多领域DST模型，支持零-shot和少样本自适应。

提出的方法

• 跨域共享的三部分架构：话语编码器、上下文增强槽门控，以及状态生成器。
• 软门控复制机制（指针生成器），使得槽位值的生成超越固定词汇表。
• 对所有（域、槽）对进行联合解码，每对有一个起始令牌以生成值。
• 三路槽门控（触发、无、不关心）用于判断一个（域、槽）对是否产生值。
• 端到端优化，使用槽门控损失与值生成损失的加权和。

实验结果

研究问题

• RQ1 一个共享、无本体的模型是否能在多个领域之间准确跟踪对话状态？
• RQ2 模型在未见领域的零-shot 转移和在有限数据下的少样本自适应，在不严重遗忘已学领域的情况下，能达到何种程度？
• RQ3 跨领域参数共享如何影响多领域DST中的联合目标准确率和槽位准确率？

主要发现

• TRADE 在 MultiWOZ 五个领域上的联合目标准确率达到 48.62%，槽位准确率 96.92%，处于最前沿。
• 在零样本的出租车领域达到 60.58% 的联合目标准确率，显示强跨域迁移。
• 该模型支持对未见槽位和领域的零样本DST，并在少样本领域自适应时不忘记已学领域。
• 在领域扩展中，基于 GEM 的微调在保持原有领域性能方面优于朴素微调或EWC，同时能更好地适应新领域。
• 在 MultiWOZ 的餐馆领域，使用完整的无本体设置时，TRADE 的联合准确率 65.35%、槽位准确率 93.28%，超越 SpanPtr 及其他基线。