[论文解读] SGD-QA: Fast Schema-Guided Dialogue State Tracking for Unseen Services

Yang Zhang, Vahid Noroozi+2 more|arXiv (Cornell University)|May 17, 2021

Topic Modeling参考文献 16被引用 4

一句话总结

该论文提出 SGD-QA，一种用于模式引导对话的快速、内存高效的多轮对话状态跟踪模型，通过单个 BERT 编码器以问答框架联合处理领域描述（作为查询）和对话轮次（作为上下文）。该模型在未见服务上实现了最先进性能——相比单轮模型，零样本泛化能力至少提升 1.6 倍——同时保持与单轮基线相当的训练和推理效率。

ABSTRACT

Dialogue state tracking is an essential part of goal-oriented dialogue systems, while most of these state tracking models often fail to handle unseen services. In this paper, we propose SGD-QA, a simple and extensible model for schema-guided dialogue state tracking based on a question answering approach. The proposed multi-pass model shares a single encoder between the domain information and dialogue utterance. The domain's description represents the query and the dialogue utterance serves as the context. The model improves performance on unseen services by at least 1.6x compared to single-pass baseline models on the SGD dataset. SGD-QA shows competitive performance compared to state-of-the-art multi-pass models while being significantly more efficient in terms of memory consumption and training performance. We provide a thorough discussion on the model with ablation study and error analysis.

研究动机与目标

• 解决现有单轮对话状态跟踪模型在未见服务上的零样本泛化能力差的问题。
• 开发一种多轮模型，在显著降低内存和计算成本的前提下，相比现有多轮方法保持高性能。
• 通过解耦槽预测与领域特定架构，实现与本体无关且可扩展的对话状态跟踪。
• 通过可并行化的多轮推理和共享编码器架构，提升推理效率。
• 在 SGD 基准上实现具有竞争力的性能，特别是在未见服务上，且架构复杂度极低。

提出的方法

• 该模型使用一个在所有任务间共享的单个 BERT 编码器，将领域描述作为查询，对话轮次作为上下文。
• 每个预测任务（意图、槽位请求、槽位状态、值预测）均作为独立的问答式任务处理，输入格式为 (查询, 上下文) 对。
• 模型采用多任务学习，针对不同槽位类型使用独立的分类头和跨度预测头，并在训练期间应用任务特定的损失掩码。
• 对于值预测，类别型槽位使用分类头，非类别型槽位使用跨度抽取头以在对话上下文中定位值。
• 推理过程在所有槽位和值上实现并行化，支持低延迟部署。
• 该架构在 NVIDIA NeMo 工具包内实现，支持模块化和可扩展的集成。

实验结果

研究问题

• RQ1 单个共享的 BERT 编码器是否能在模式引导对话状态跟踪中实现对未见服务的强零样本泛化能力？
• RQ2 采用单编码器的多轮问答式方法是否在内存和训练效率方面优于使用多个编码器的多轮模型？
• RQ3 与单轮模型相比，该模型在未见服务上的性能如何？
• RQ4 在意图、槽位请求、状态和值预测之间进行联合多任务学习是否能提升整体对话状态跟踪的准确性？
• RQ5 共享编码和并行推理等架构选择对推理延迟和训练收敛有何影响？

主要发现

• 与单轮模型（如 SGD 基线和 FastSGT）相比，SGD-QA 在 SGD 数据集上将未见服务的零样本性能提升了至少 1.6 倍。
• 在单领域开发集上，SGD-QA 实现了 97.5% 的意图准确率和 98.3% 的槽位请求 F1 值，未见服务上的联合目标准确率为 65.0%。
• 在全领域开发集上，SGD-QA 实现了 52.3% 的联合目标准确率，优于 SPPD（41.9%）和 FastSGT（42.0%）在未见服务上的表现。
• 在集成状态跟踪器后，SGD-QA 在全领域开发集上实现了 60.0% 的联合目标准确率，显著优于 FastSGT（51.6%）和 SPPD（84.0% 带 ST）。
• 该模型收敛速度优于多轮模型，并支持并行推理，尽管是多轮模型，其训练速度仍与单轮模型相当。
• 消融实验确认，跨任务共享单个 BERT 编码器已足够，且将值预测与跨度抽取结合会损害性能，因此应分别处理。