[论文解读] Multimodal Dialogs (MMD): A large-scale dataset for studying multimodal domain-aware conversations.

Amrita Saha, Mitesh M. Khapra+1 more|arXiv (Cornell University)|Apr 1, 2017

Multimodal Machine Learning Applications参考文献 7被引用 5

一句话总结

本文介绍了MMD，一个包含15万条时尚零售领域购物者与销售代理之间多模态、领域感知对话会话的大规模数据集。该研究提出了五个新的多模态对话研究子任务，基于encode-attend-decode框架建立了神经基线模型，并实现了针对九个关键对话状态的逐状态评估，以指导对复杂对话挑战的针对性研究。

ABSTRACT

While multimodal conversation agents are gaining importance in several domains such as retail, travel etc., deep learning research in this area has been limited primarily due to the lack of availability of large-scale, open chatlogs. To overcome this bottleneck, in this paper we introduce the task of multimodal, domain-aware conversations, and propose the MMD benchmark dataset. This dataset was gathered by working in close coordination with large number of domain experts in the retail domain. These experts suggested various conversations flows and dialog states which are typically seen in multimodal conversations in the fashion domain. Keeping these flows and states in mind, we created a dataset consisting of over 150K conversation sessions between shoppers and sales agents, with the help of in-house annotators using a semi-automated manually intense iterative process. With this dataset, we propose 5 new sub-tasks for multimodal conversations along with their evaluation methodology. We also propose two multimodal neural models in the encode-attend-decode paradigm and demonstrate their performance on two of the sub-tasks, namely text response generation and best image response selection. These experiments serve to establish baseline performance and open new research directions for each of these sub-tasks. Further, for each of the sub-tasks, we present a `per-state evaluation' of 9 most significant dialog states, which would enable more focused research into understanding the challenges and complexities involved in each of these states.

研究动机与目标

• 解决在真实世界领域中用于训练和评估多模态对话智能体的大规模、开源多模态聊天记录缺乏的问题。
• 构建一个反映时尚零售互动中观察到的真实、复杂对话流程和状态的基准数据集。
• 提出五个新的多模态对话研究子任务，包括文本响应生成和图像响应选择，并定义相应的评估协议。
• 基于encode-attend-decode范式建立神经模型基线，以支持性能比较和未来方法的开发。
• 通过在九个重要对话状态上实施逐状态评估，实现细粒度分析，以揭示多模态理解与生成中的任务特定挑战。

提出的方法

• 与时尚和零售领域的专家合作，定义真实对话流程和对话状态。
• 通过内部标注人员，采用半自动、迭代且人工密集的数据收集流程，收集了超过15万条对话会话。
• 设计了一个包含五个新子任务的基准：文本响应生成、最佳图像响应选择，以及三个聚焦于多模态理解与生成的附加任务。
• 基于encode-attend-decode架构，提出了两种多模态神经模型，用于联合处理文本和图像输入。
• 实施了逐状态评估协议，对模型在九个关键对话状态下的表现进行评估，以识别状态特定的性能差距。
• 为每个子任务定义了评估指标，包括响应生成的标准指标，以及图像响应选择的检索类指标。

实验结果

研究问题

• RQ1 如何构建一个大规模、真实且领域特定的多模态对话数据集，以支持时尚零售对话研究？
• RQ2 从多模态、领域感知对话中浮现的关键子任务有哪些？它们如何被正式定义并评估？
• RQ3 多模态神经模型在真实零售环境中，对文本响应生成和图像响应选择任务的表现如何？
• RQ4 不同对话状态之间的性能差异是什么？哪些状态对多模态智能体构成了最大挑战？
• RQ5 逐状态评估能否揭示多模态模型在复杂对话场景中的局限性与优势的有意义洞察？

主要发现

• MMD数据集包含超过15万条购物者与销售代理之间的对话会话，捕捉了时尚领域中多样化、真实的多模态互动。
• 所提出的子任务，包括文本响应生成和最佳图像响应选择，为评估多模态对话系统提供了结构化框架。
• 基于encode-attend-decode范式的神经基线模型在两个核心子任务上取得了可测量的性能，为未来模型开发奠定了基础。
• 逐状态评估揭示了九个最重要对话状态之间显著的性能差异，凸显了多模态理解中的状态特定挑战。
• 该数据集和评估协议使研究者能够聚焦于对话状态特定的瓶颈问题，如上下文感知的图像选择和多轮对话的响应连贯性。
• 大规模、经专家验证且带有详细对话状态标注的数据集的可用性，为多模态、领域感知对话系统的研究开辟了新的方向。