[论文解读] OpenViDial: A Large-Scale, Open-Domain Dialogue Dataset with Visual Contexts

Yuxian Meng, Shuhe Wang+5 more|arXiv (Cornell University)|Dec 30, 2020

Multimodal Machine Learning Applications参考文献 107被引用 18

一句话总结

OpenViDial 引入了一个大规模、开放领域的对话数据集，包含从电影和电视剧中提取的110万条对话轮次及其对应的视觉上下文。通过将视觉定位整合到对话生成中，该数据集使能够训练出生成在语境和视觉上都具有依据的响应的多模态模型，从而解决了现有纯文本对话系统中的一个关键局限。

ABSTRACT

When humans converse, what a speaker will say next significantly depends on what he sees. Unfortunately, existing dialogue models generate dialogue utterances only based on preceding textual contexts, and visual contexts are rarely considered. This is due to a lack of a large-scale multi-module dialogue dataset with utterances paired with visual contexts. In this paper, we release {\bf OpenViDial}, a large-scale multi-module dialogue dataset. The dialogue turns and visual contexts are extracted from movies and TV series, where each dialogue turn is paired with the corresponding visual context in which it takes place. OpenViDial contains a total number of 1.1 million dialogue turns, and thus 1.1 million visual contexts stored in images. Based on this dataset, we propose a family of encoder-decoder models leveraging both textual and visual contexts, from coarse-grained image features extracted from CNNs to fine-grained object features extracted from Faster R-CNNs. We observe that visual information significantly improves dialogue generation qualities, verifying the necessity of integrating multi-modal features for dialogue learning. Our work marks an important step towards large-scale multi-modal dialogue learning.

研究动机与目标

• 解决缺乏大规模、开放领域且包含视觉上下文的对话数据集的问题，以用于训练多模态对话智能体。
• 通过提供来自真实世界视觉媒体的配对对话轮次和视觉上下文，推动视觉定位对话生成的研究。
• 促进能够利用视觉线索（如场景上下文、面部表情和物体交互）的对话模型的开发。
• 通过提供一个真实、多样且可扩展的基准，支持构建更类人、在语境和视觉上都具备感知能力的对话智能体。
• 为推动多模态对话系统超越纯文本生成，特别是在开放领域设置下的发展，提供基础支持。

提出的方法

• 从电影和电视剧的剧本及其对应的视频帧中提取对话轮次和视觉上下文。
• 将每个对话话语与其中发生的特定视觉帧（图像）对齐，确保时间与空间上的一致性。
• 从多样化的视觉媒体中整理出总计110万对对话-视觉配对，涵盖多样的场景、角色和对话语境。
• 使用自动与人工筛选相结合的方法，确保对话-视觉配对的质量高、连贯且语境相关。
• 对数据集进行结构化设计，以支持对话生成和视觉定位任务，使多模态模型能够进行联合训练。
• 在 https://github.com/ShannonAI/OpenViDial 公开发布该数据集，供社区使用和基准测试。

实验结果

研究问题

• RQ1 一个大规模、开放领域的对话数据集，若配对有视觉上下文，是否能显著提升多模态对话生成模型的性能？
• RQ2 视觉线索（如场景上下文、物体存在和面部表情）在多大程度上能提升生成响应的相关性和连贯性？
• RQ3 在开放领域设置下，引入视觉上下文如何影响对话响应的多样性与个性化？
• RQ4 在OpenViDial上训练的模型能否生成在语言上连贯且与视觉现实一致的响应？
• RQ5 哪些关键的视觉和文本特征最能预测准确且语境恰当的对话响应？

主要发现

• OpenViDial 包含110万条与对应视觉上下文配对的对话轮次，是目前可用的最大规模开放领域多模态对话数据集之一。
• 该数据集使能够训练出生成基于视觉上下文的响应的对话模型，例如‘看看那张图’或‘正朝阁楼移动’，这些表达在缺乏视觉输入时是模糊不清的。
• 视觉上下文的引入显著提升了响应的相关性和语境准确性，这通过模型输出的定性分析得到验证。
• 该数据集支持在各种视觉场景（包括室内、室外和动态场景）下的多样化对话情景，增强了模型的泛化能力。
• OpenViDial 的发布为评估多模态对话系统提供了标准化基准，促进了研究的可重现性与领域进展。
• 初步实验表明，基于OpenViDial训练的模型在生成视觉定位响应方面优于纯文本基线模型，尤其在复杂或模糊语境下表现更优。