[论文解读] MultiWOZ -- A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling

Paweł Budzianowski, Tsung-Hsien Wen+5 more|arXiv (Cornell University)|Sep 29, 2018

Topic Modeling被引用 4

一句话总结

本论文介绍了MultiWOZ，这是一个大规模、全标注的多领域任务导向对话数据集，包含8,438段人类之间的对话，覆盖多个领域，且带有信念状态和对话行为标注。该数据集可用于基准测试信念追踪、对话行为预测和响应生成，报告的基线模型显示出显著挑战，原因在于语言多样性与多领域复杂性。

ABSTRACT

Even though machine learning has become the major scene in dialogue research community, the real breakthrough has been blocked by the scale of data available. To address this fundamental obstacle, we introduce the Multi-Domain Wizard-of-Oz dataset (MultiWOZ), a fully-labeled collection of human-human written conversations spanning over multiple domains and topics. At a size of $10$k dialogues, it is at least one order of magnitude larger than all previous annotated task-oriented corpora. The contribution of this work apart from the open-sourced dataset labelled with dialogue belief states and dialogue actions is two-fold: firstly, a detailed description of the data collection procedure along with a summary of data structure and analysis is provided. The proposed data-collection pipeline is entirely based on crowd-sourcing without the need of hiring professional annotators; secondly, a set of benchmark results of belief tracking, dialogue act and response generation is reported, which shows the usability of the data and sets a baseline for future studies.

研究动机与目标

• 为解决当前缺乏大规模、多样化且全标注的任务导向对话数据集的问题，以支持端到端和模块化对话系统的训练与基准测试。
• 开发一种可扩展的基于众包的数据收集流程，无需专业标注员即可保持高质量标注。
• 为复杂多领域对话中的信念追踪、对话行为预测和响应生成提供全面的基准。
• 通过提供比以往语料大一个数量级的数据集，支持端到端对话建模研究。
• 作为新的、具有挑战性的测试平台，用于评估对话系统在多领域和语言变体下的鲁棒性与泛化能力。

提出的方法

• 采用基于众包的Wizard-of-Oz数据收集流程，其中一名参与者（用户）与另一名参与者（系统）互动，以模拟真实的任务导向对话。
• 对每段对话进行结构化信念状态（槽值对）和系统对话行为（如inform、request、recommend等）的标注。
• 在7个领域（如餐厅、酒店、出租车）中收集对话，包含超过24个信念状态槽位和4,510个唯一槽值。
• 采用两阶段标注流程：第一阶段通过众包工作者收集对话；第二阶段使用结构化标注界面对信念状态和对话行为进行标注。
• 实施验证与过滤流程，以确保数据集中标注的质量与一致性。
• 使用带有注意力机制的序列到序列模型，为信念追踪、对话行为分类和响应生成提供基线模型。

实验结果

研究问题

• RQ1 如何仅通过众包方式高效收集大规模、多领域、多轮对话数据集，而无需专业标注员？
• RQ2 该数据集的语言多样性与多领域特性在多大程度上对现有信念追踪与响应生成模型构成挑战？
• RQ3 当前最先进模型在多领域、高变异性语料上的表现，与单领域基准相比如何？
• RQ4 MultiWOZ的规模与复杂性是否足以支持端到端对话学习？其与模块化方法相比表现如何？
• RQ5 在多领域设置下，从结构化对话行为生成自然语言的关键挑战是什么？

主要发现

• MultiWOZ包含8,438段对话，共113,556轮对话，其规模至少比以往全标注的任务导向数据集大一个数量级。
• 该数据集包含24个信念状态槽位和4,510个唯一槽值，超过60%的对话轮次涉及至少两个系统对话行为，显著增加了复杂性。
• 基线信念追踪模型在MultiWOZ上的Inform准确率为71.29%，Success率为60.29%，远低于在Cam676语料上的99.17%和75.08%，表明其难度更高。
• MultiWOZ上的响应生成BLEU得分为0.189（使用注意力机制），远低于SFX数据集的0.731，反映出更大的语言变异性。
• 在餐厅子集上，响应生成的槽错误率（SER）为4.378%，而SFX数据集仅为0.46%，证实了该数据集的更高难度。
• 尽管注意力机制带来了性能提升，但MultiWOZ与更小、更简单的数据集之间的性能差距依然显著，凸显了对更鲁棒模型的迫切需求。