[论文解读] The JDDC 2.0 Corpus: A Large-Scale Multimodal Multi-Turn Chinese Dialogue Dataset for E-commerce Customer Service

Nan Zhao, Haoran Li+3 more|arXiv (Cornell University)|Sep 27, 2021

Multimodal Machine Learning Applications参考文献 17被引用 5

一句话总结

本文介绍了JDDC 2.0，这是一个大规模多模态、多轮次中文对话数据集，包含246,153个电商客服会话，共300万条语句和507,678张图片，以及产品知识库和图像标注。该数据集支持文本与视觉输入的联合建模，以提升在真实电商场景中对用户查询的理解能力，顶尖团队在响应质量的人工评估中得分达到45.6%，凸显了多模态对话系统仍面临的挑战。

ABSTRACT

With the development of the Internet, more and more people get accustomed to online shopping. When communicating with customer service, users may express their requirements by means of text, images, and videos, which precipitates the need for understanding these multimodal information for automatic customer service systems. Images usually act as discriminators for product models, or indicators of product failures, which play important roles in the E-commerce scenario. On the other hand, detailed information provided by the images is limited, and typically, customer service systems cannot understand the intents of users without the input text. Thus, bridging the gap of the image and text is crucial for the multimodal dialogue task. To handle this problem, we construct JDDC 2.0, a large-scale multimodal multi-turn dialogue dataset collected from a mainstream Chinese E-commerce platform (JD.com), containing about 246 thousand dialogue sessions, 3 million utterances, and 507 thousand images, along with product knowledge bases and image category annotations. We present the solutions of top-5 teams participating in the JDDC multimodal dialogue challenge based on this dataset, which provides valuable insights for further researches on the multimodal dialogue task.

研究动机与目标

• 为解决中文电商客服场景中缺乏大规模真实世界多模态对话数据集的问题。
• 实现在多轮对话中联合理解文本与视觉输入，其中图像为产品型号或缺陷提供关键上下文。
• 通过提供真实、目标驱动的数据集并附带产品知识和图像类别标注，支持多模态对话系统的研究。
• 通过公开挑战赛和评估协议，促进多模态对话模型的基准测试。
• 通过严格的去匿名化处理和使用限制，确保真实用户数据的隐私与伦理使用。

提出的方法

• 数据集源自京东（JD.com）这一主要中国电商平台的真实对话，对姓名、地址、联系方式等敏感信息进行了仔细的匿名化处理。
• 每个对话会话包含多轮文本交互及至少一张图片，附带图像类别标注，并与产品知识库集成。
• 利用JDDC 2.0组织了多模态对话挑战赛，参赛团队开发模型以生成在上下文和视觉上均有依据的回复。
• 评估包括自动指标（BLEU、Distinct、贪婪匹配）和由客服专家对1,000个测试样本进行的人工评估。
• 数据访问仅限于学术研究，需注册并签署协议以防止商业用途。
• 数据集在授权后可通过 https://jddc.jd.com 公开获取。

实验结果

研究问题

• RQ1 多模态对话系统如何有效整合文本与视觉信息，以理解电商客服场景中的用户意图？
• RQ2 当图像与文本均需用于理解时，生成准确且上下文相关的回复面临哪些关键挑战？
• RQ3 与单模态方法相比，联合建模文本与图像模态在真实电商对话中如何提升回复质量？
• RQ4 现有模型在处理长上下文依赖、产品特定知识以及涉及图像细节的细微用户查询方面，其能力边界如何？
• RQ5 当前多模态对话模型在处理真实世界、多轮次、多领域电商交互方面存在哪些局限性？

主要发现

• 挑战赛中表现最佳的模型在人工评估中得分为45.6%，表明多模态对话理解仍有巨大提升空间。
• 团队4在BLEU-4得分（0.1757）和人工评估得分（0.456）上均排名第一，证明了先进多模态融合技术的有效性。
• BLEU和Distinct等自动指标与人工判断存在中等程度相关性，表明这些指标在捕捉n-gram重叠之外的响应质量方面存在局限。
• 许多模型在处理长尾查询（如电饭煲的特定设置，例如温度控制）时表现不佳，暴露出知识对齐方面的不足。
• 案例研究显示，模型常无法识别细微的视觉线索（如不影响功能的颜色差异），导致错误推荐（如退货）。
• 数据集表明，图像对于澄清产品型号和故障症状至关重要，但其与文本的整合仍是当前模型的主要挑战。