[论文解读] Zero-shot Generalization in Dialog State Tracking through Generative Question Answering

S. X. Li, Jin Cao+5 more|arXiv (Cornell University)|Jan 20, 2021

Topic Modeling参考文献 46被引用 5

一句话总结

该论文提出了一种无本体的、生成式对话状态追踪（DST）框架，利用条件语言模型回答关于用户偏好的自然语言查询，实现对未见领域、槽位类型和值的零样本泛化。该方法在MultiWOZ 2.1数据集上实现了最先进的零样本联合目标准确率，相比之前的方法绝对提升高达9%。

ABSTRACT

Dialog State Tracking (DST), an integral part of modern dialog systems, aims to track user preferences and constraints (slots) in task-oriented dialogs. In real-world settings with constantly changing services, DST systems must generalize to new domains and unseen slot types. Existing methods for DST do not generalize well to new slot names and many require known ontologies of slot types and values for inference. We introduce a novel ontology-free framework that supports natural language queries for unseen constraints and slots in multi-domain task-oriented dialogs. Our approach is based on generative question-answering using a conditional language model pre-trained on substantive English sentences. Our model improves joint goal accuracy in zero-shot domain adaptation settings by up to 9% (absolute) over the previous state-of-the-art on the MultiWOZ 2.1 dataset.

研究动机与目标

• 解决在未见领域、槽位类型和值的情况下对话状态追踪的零样本泛化挑战。
• 通过支持自然语言查询以实现对任意用户需求的无固定本体依赖。
• 通过语言模型泛化能力与少样本迁移学习提升零样本设置下的DST性能。
• 在无需微调或本体更新的前提下，支持灵活可扩展的槽位查询。
• 在具有动态服务和不断演进需求的真实对话系统中，展示鲁棒性与可扩展性。

提出的方法

• 该模型将DST视为生成式问答任务，每个槽位通过自然语言问题进行查询（例如：'这家酒店的价格范围是多少？'）。
• 使用在多样化文本上预训练的条件语言模型，基于对话历史生成槽位值，从而实现在未见槽位上的零样本推理。
• 该框架在推理时支持任意自然语言问题，允许动态查询，而无需事先接触槽位名称或值。
• 通过对比损失进行微调，以提升数值和时间类值的排序能力，增强槽位预测的精确度。
• 在训练过程中引入槽位延续预测机制，以提升跨对话轮次的上下文保留能力。
• 利用更大、更丰富的数据集（如DSTC8）进行迁移学习，以提升跨领域的零样本性能。

实验结果

研究问题

• RQ1 在无法访问其本体的情况下，对话状态追踪系统能否对未见领域和槽位类型实现泛化？
• RQ2 使用预训练语言模型的生成式问答方法在零样本DST中效果如何？
• RQ3 槽位延续预测与数据增强在多大程度上能提升DST中的零样本泛化能力？
• RQ4 自然语言问题能否替代DST中的固定槽位模板，同时保持或提升准确率？
• RQ5 与监督基线及先前最先进方法相比，该模型在零样本设置下的表现如何？

主要发现

• 所提出的模型在MultiWOZ 2.1数据集的零样本领域适应任务中，联合目标准确率相比之前最先进方法绝对提升9%。
• 在零样本设置下，该模型在所有领域中平均每个领域的联合准确率相比之前最佳方法提升5.9%。
• 性能与最先进监督方法相当，证明了其在无需目标领域微调情况下的强大泛化能力。
• 引入槽位延续预测可显著提升零样本DST性能，使联合准确率相比之前最先进方法提升11%。
• 该模型能有效泛化到未见过的槽位名称和值（如'网络接入'或新酒店名称），无需微调或本体更新。
• 使用领域内阅读理解数据（如DSTC8）进行数据增强，有助于区分语义相似的槽位（如'名称'或'价格范围'），提升歧义消除能力。