[论文解读] MultiWOZ 2.1: A Consolidated Multi-Domain Dialogue Dataset with State Corrections and State Tracking Baselines

Mihail Eric, Rahul Goel+8 more|arXiv (Cornell University)|Jul 2, 2019

Topic Modeling参考文献 11被引用 13

一句话总结

本文介绍了 MultiWOZ 2.1，这是对 MultiWOZ 2.0 数据集的修订与整合版本，修正了对话状态注释并增强了用户对话行为。通过众包重新标注与规范化处理，32% 的状态注释和 146 条语句得到修正，导致最先进模型的性能下降 3-5%，凸显了对 'dontcare' 和 'none' 标签进行更好建模的必要性。

ABSTRACT

MultiWOZ 2.0 (Budzianowski et al., 2018) is a recently released multi-domain dialogue dataset spanning 7 distinct domains and containing over 10,000 dialogues. Though immensely useful and one of the largest resources of its kind to-date, MultiWOZ 2.0 has a few shortcomings. Firstly, there is substantial noise in the dialogue state annotations and dialogue utterances which negatively impact the performance of state-tracking models. Secondly, follow-up work (Lee et al., 2019) has augmented the original dataset with user dialogue acts. This leads to multiple co-existent versions of the same dataset with minor modifications. In this work we tackle the aforementioned issues by introducing MultiWOZ 2.1. To fix the noisy state annotations, we use crowdsourced workers to re-annotate state and utterances based on the original utterances in the dataset. This correction process results in changes to over 32% of state annotations across 40% of the dialogue turns. In addition, we fix 146 dialogue utterances by canonicalizing slot values in the utterances to the values in the dataset ontology. To address the second problem, we combined the contributions of the follow-up works into MultiWOZ 2.1. Hence, our dataset also includes user dialogue acts as well as multiple slot descriptions per dialogue state slot. We then benchmark a number of state-of-the-art dialogue state tracking models on the MultiWOZ 2.1 dataset and show the joint state tracking performance on the corrected state annotations. We are publicly releasing MultiWOZ 2.1 to the community, hoping that this dataset resource will allow for more effective models across various dialogue subproblems to be built in the future.

研究动机与目标

• 解决原始 MultiWOZ 2.0 对话状态注释中的噪声与不一致性，这些因素阻碍了模型性能。
• 通过将多个修改版本的数据集整合为单一统一发布版本，解决版本碎片化问题。
• 通过众包标注修正 32% 的状态注释并规范化 146 条语句，提升数据质量。
• 通过增加用户对话行为和每个槽位的多个槽位描述，增强数据集，以支持更好的零样本和低资源 NLU 能力。
• 在修正后的数据上使用最先进模型提供强大且更新的基线，以实现更公平的性能比较。

提出的方法

• 通过众包方式对对话状态和语句进行重新标注，以修正槽值和状态注释中的错误。
• 应用规范化处理，以统一语句中的槽值，使其与本体一致，减少词汇差异。
• 将先前后续研究中引入的用户对话行为以及每个槽位的多个槽位描述整合到统一数据集中。
• 通过将口语化槽值与官方本体对齐，修复了 146 条语句，提升了一致性。
• 在修正后的 MultiWOZ 2.1 数据集上对五种最先进对话状态追踪模型（FJST、HJST、TRADE、DST Reader、HyST）进行基准测试。
• 采用对话历史编码策略，包含当前轮次之前的所有用户和系统语句，用于状态追踪。

实验结果

研究问题

• RQ1 在 MultiWOZ 2.0 中修正噪声对话状态注释后，对最先进对话状态追踪模型的性能有何影响？
• RQ2 引入用户对话行为和槽位描述对多领域对话中模型泛化能力与零样本学习能力有何影响？
• RQ3 为何在清洗后的 MultiWOZ 2.1 上评估时，所有模型均出现一致的性能下降？
• RQ4 涉及 'dontcare' 和 'none' 标签的修正在多大程度上增加了学习用户模糊偏好的难度？
• RQ5 不同模型架构（例如，层次化与扁平化）对修正后数据集复杂度的提升有何响应？

主要发现

• 所有评估模型在 MultiWOZ 2.1 上的联合状态追踪性能均低于 MultiWOZ 2.0，其中扁平联合状态追踪器（Flat Joint State Tracker）的性能从 40.2% 下降至 38.0%。
• 性能下降主要归因于学习 'dontcare' 和 'none' 标签的难度增加，'dontcare' 预测错误增加了 2.25 倍。
• 扁平联合状态追踪器新增错误中 13.4% 是由于错误预测了 'dontcare' 目标，表明修正后的数据更好地捕捉了用户的模糊性。
• 439 个新增错误（占总数的 32%）是由于模型错误地预测了值，而正确标签应为 'none'，反映出数据集对虚假槽值填充的处理更加严格。
• 槽位准确率下降最显著的是 'restaurant.name'（从 87.02% 降至 83.33%），主要由于模型在正确注释的状态上出现错误，表明名称提取存在挑战。
• 尽管性能有所下降，但修正后的数据为评估对话状态追踪模型提供了更可靠的基准，能够将模型错误与数据噪声有效分离。