[论文解读] The JDDC Corpus: A Large-Scale Multi-Turn Chinese Dialogue Dataset for E-commerce Customer Service

Meng Chen, Ruixue Liu+6 more|arXiv (Cornell University)|Nov 22, 2019

Topic Modeling参考文献 30被引用 34

一句话总结

本文介绍 JDDC，一份大规模真实场景的中国电商对话语料库，包含超过 1 million 多轮对话和 20 million 句子，以及额外注释和挑战集，并为检索式和生成式模型提供基线基准。

ABSTRACT

Human conversations are complicated and building a human-like dialogue agent is an extremely challenging task. With the rapid development of deep learning techniques, data-driven models become more and more prevalent which need a huge amount of real conversation data. In this paper, we construct a large-scale real scenario Chinese E-commerce conversation corpus, JDDC, with more than 1 million multi-turn dialogues, 20 million utterances, and 150 million words. The dataset reflects several characteristics of human-human conversations, e.g., goal-driven, and long-term dependency among the context. It also covers various dialogue types including task-oriented, chitchat and question-answering. Extra intent information and three well-annotated challenge sets are also provided. Then, we evaluate several retrieval-based and generative models to provide basic benchmark performance on the JDDC corpus. And we hope JDDC can serve as an effective testbed and benefit the development of fundamental research in dialogue task

研究动机与目标

• 构建一个大规模真实场景的中国电商对话语料库（JDDC）。
• 捕捉人际对话的特征，如以目标驱动的互动和长期上下文依赖。
• 覆盖包括任务型、闲聊和问答等多样的对话类型。
• 提供额外的意图信息，并建立三组经过良好注释的挑战集，以进行稳健评估。

提出的方法

• 组建一个真实场景的中国电商语料库，包含超过 1 million 多轮对话、20 million 句子和 150 million 字。
• 标注额外的意图信息，并创建三组挑战集以促进稳健评估。
• 在 JDDC 语料库上对基线性能进行基于检索的和生成模型的基准评测。

实验结果

研究问题

• RQ1 基于检索的模型在 JDDC 数据集上能达到怎样的基线性能？
• RQ2 生成模型在 JDDC 数据集上能达到怎样的基线性能？
• RQ3 JDDC 在多轮对话中对目标驱动行为和长期依赖性的体现有多好？

主要发现

• 该数据集包含超过 1 million 的多轮对话，20 million 句子和 150 million 字。
• JDDC 反映了人类对话的目标驱动和长期依赖性的特征。
• JDDC 支持多样化的对话类型，包括任务型、闲聊和问答。
• 提供额外的意图信息以帮助分析和建模。
• 提供三组注释良好的挑战集，以丰富评估场景。
• 在 JDDC 上对基于检索的和生成模型进行了基线评测。