[论文解读] SUMBT: Slot-Utterance Matching for Universal and Scalable Belief Tracking

Hwaran Lee, Jinsik Lee+1 more|arXiv (Cornell University)|Jul 17, 2019

Topic Modeling参考文献 15被引用 24

一句话总结

本文提出 SUMBT，一种通用且可扩展的信念追踪器，通过基于 BERT 的上下文编码和非参数分类实现话语-槽位匹配，无需领域或槽位特定参数即可预测槽值。通过共享注意力机制和基于度量的标签预测联合建模所有领域和槽位，SUMBT 在 WOZ 2.0 上实现了 91.0% 的最先进联合准确率，在 MultiWOZ 上实现了 42.4% 的最先进性能。

ABSTRACT

In goal-oriented dialog systems, belief trackers estimate the probability distribution of slot-values at every dialog turn. Previous neural approaches have modeled domain- and slot-dependent belief trackers, and have difficulty in adding new slot-values, resulting in lack of flexibility of domain ontology configurations. In this paper, we propose a new approach to universal and scalable belief tracker, called slot-utterance matching belief tracker (SUMBT). The model learns the relations between domain-slot-types and slot-values appearing in utterances through attention mechanisms based on contextual semantic vectors. Furthermore, the model predicts slot-value labels in a non-parametric way. From our experiments on two dialog corpora, WOZ 2.0 and MultiWOZ, the proposed model showed performance improvement in comparison with slot-dependent methods and achieved the state-of-the-art joint accuracy.

研究动机与目标

• 开发一种既通用又可扩展的信念追踪器，无需微调或架构修改即可处理任意领域和槽位类型。
• 克服现有神经信念追踪器需要为每个槽位或每个领域进行模型适配，且在动态本体更新时表现不佳的局限性。
• 通过统一模型架构学习共享表示，实现在不同领域和槽位之间的知识共享。
• 通过注意力机制建模领域-槽位类型与话语内容之间的语义相关性，提升联合信念追踪的准确率。
• 通过非参数标签预测实现对训练中未见的槽值的零样本或少样本泛化。

提出的方法

• 使用 BERT 将用户和系统话语、领域-槽位类型以及槽值编码为上下文语义向量。
• 应用一种槽位-话语匹配网络，通过计算领域-槽位类型与话语标记之间的注意力权重，识别相关内容。
• 采用非参数判别器，通过学习到的度量（如余弦或欧氏距离）从候选集中选择最相似的槽值。
• 使用对比损失端到端训练模型，以优化话语中领域-槽位类型与其正确槽值之间的对齐。
• 为所有领域和槽位使用共享的 BERT 编码器，避免为每个槽位或领域配置独立的模型头。
• 通过将编码后的查询（领域-槽位类型）与所有候选值进行比较，实现无需架构修改的动态槽值预测。

实验结果

研究问题

• RQ1 单一信念追踪器是否能在无需每个槽位或每个领域适配的情况下泛化到所有领域和槽位类型？
• RQ2 在不同领域间学习共享表示是否能提升信念追踪性能，相比依赖槽位的模型？
• RQ3 非参数标签预测是否能有效实现对未见槽值的零样本或少样本泛化？
• RQ4 SUMBT 中的注意力机制如何在词汇变化下仍能对齐语义相关的语句片段？
• RQ5 所提出方法是否在 WOZ 2.0 和 MultiWOZ 等标准基准上实现了最先进性能？

主要发现

• SUMBT 在 WOZ 2.0 数据集上实现了 91.0% 的联合准确率，超越了所有先前方法，包括依赖槽位的基线模型和最先进模型。
• 在更大的 MultiWOZ 数据集上，SUMBT 实现了 42.4% 的联合准确率，显著优于先前方法，如 GLAD（35.57%）和 GCE（35.58%）。
• 非参数判别器在无需架构修改的情况下有效预测了未见的槽值，证明了其对新本体的可扩展性。
• 注意力可视化显示，即使槽值以词汇变化表达（如用 'reasonably priced' 表示 'moderate' 价格范围），SUMBT 仍能正确关注语义相关的短语。
• 模型性能的提升可归因于跨领域和槽位的共享知识学习，证据来自槽位无关的 SUMBT 在性能上持续优于依赖槽位的变体。
• 消融实验确认，BERT 编码与非参数匹配的结合对模型的泛化能力和可扩展性至关重要。