[论文解读] RiSAWOZ: A Large-Scale Multi-Domain Wizard-of-Oz Dataset with Rich Semantic Annotations for Task-Oriented Dialogue Modeling

Jun Quan, Shian Zhang+3 more|arXiv (Cornell University)|Oct 17, 2020

Topic Modeling参考文献 26被引用 5

一句话总结

RiSAWOZ 是一个大规模、多领域中文 Wizard-of-Oz 数据集，包含跨 12 个领域的 11,200 次人与人之间的对话，具备丰富的语义和语言学标注，包括对话状态、对话行为、省略和指代。该数据集支持面向任务的对话系统基准测试，在端到端模型下，指代消解的平均 F1 达到 84.49%，统一的省略与指代消解的 Resolution_F1 达到 78.14%。

ABSTRACT

In order to alleviate the shortage of multi-domain data and to capture discourse phenomena for task-oriented dialogue modeling, we propose RiSAWOZ, a large-scale multi-domain Chinese Wizard-of-Oz dataset with Rich Semantic Annotations. RiSAWOZ contains 11.2K human-to-human (H2H) multi-turn semantically annotated dialogues, with more than 150K utterances spanning over 12 domains, which is larger than all previous annotated H2H conversational datasets. Both single- and multi-domain dialogues are constructed, accounting for 65% and 35%, respectively. Each dialogue is labeled with comprehensive dialogue annotations, including dialogue goal in the form of natural language description, domain, dialogue states and acts at both the user and system side. In addition to traditional dialogue annotations, we especially provide linguistic annotations on discourse phenomena, e.g., ellipsis and coreference, in dialogues, which are useful for dialogue coreference and ellipsis resolution tasks. Apart from the fully annotated dataset, we also present a detailed description of the data collection procedure, statistics and analysis of the dataset. A series of benchmark models and results are reported, including natural language understanding (intent detection & slot filling), dialogue state tracking and dialogue context-to-text generation, as well as coreference and ellipsis resolution, which facilitate the baseline comparison for future research on this corpus.

研究动机与目标

• 为解决中文领域内缺乏大规模、多领域、人工标注的面向任务对话数据集的问题。
• 通过详细的语言学标注捕捉话语现象（如省略和指代），以改进对话建模。
• 为多个对话子任务（包括 NLU、DST、响应生成和指代消解）提供全面的基准。
• 通过广泛的领域覆盖和丰富的标注，支持领域自适应、零样本学习和对话摘要等研究。

提出的方法

• 通过 Wizard-of-Oz 设置收集数据，真实人类用户与人工操作员模拟系统进行交互。
• 每段对话均经人工标注对话目标、领域、用户与系统侧的对话状态和对话行为（以自然语言形式）。
• 应用语言学标注以识别省略和指代现象，支持话语层面的分析。
• 在五个核心任务上训练并评估基准模型：意图识别、槽位填充、对话状态追踪、响应生成以及指代/省略消解。
• 采用端到端模型（如 e2e-coref 和 GECOR）进行指代和统一的省略/指代消解，利用 fastText 嵌入和注意力机制。
• 评估使用标准指标，包括 MUC、B3、CEAF φ4 F1、BLEU 和在官方 CoNLL-2012 脚本上的精确匹配（EM）。

实验结果

研究问题

• RQ1 大规模、多领域、人工标注的对话数据集在多大程度上能提升面向任务对话系统的鲁棒性和泛化能力？
• RQ2 如省略和指代等语言学标注在多大程度上能提升对话理解与生成模型的性能？
• RQ3 端到端模型是否能在无需外部句法分析器的情况下，有效解决多领域、多轮对话中的指代与省略问题？
• RQ4 领域不平衡与跨领域指代如何影响对话指代消解模型的性能？

主要发现

• RiSAWOZ 包含 11,200 段对话，涵盖超过 150,000 条话语，横跨 12 个领域，是迄今为止最大规模的完全标注的人与人之间（H2H）面向任务对话数据集。
• e2e-coref 模型在全部数据上达到 84.49% 的平均 F1，多领域对话中达到 80.60%，表明其在跨领域复杂性下仍具备强大性能。
• GECOR 模型在统一的省略与指代消解任务上达到 58.26% 的精确匹配、87.50% 的 BLEU 和 78.14% 的 Resolution_F1，证明其在生成语义完整话语方面的有效性。
• 该数据集支持多样化的研究任务，包括对话策略学习、自然语言生成、用户模拟和领域自适应，得益于其广泛的领域覆盖和丰富的标注。
• 语言学标注揭示，省略和指代等话语现象在多轮对话中普遍存在，凸显其在对话建模中的重要性。