[论文解读] Understanding Image and Text Simultaneously: a Dual Vision-Language Machine Comprehension Task

Nan Ding, Sebastian Goodman+2 more|arXiv (Cornell University)|Dec 22, 2016

Multimodal Machine Learning Applications参考文献 34被引用 7

一句话总结

本文提出了一项双模态视觉-语言机器阅读理解任务（DMC），用于评估模型从语义相似但经过对抗性设计的选项中选择最准确图像描述的能力。通过利用从 COCO 图像描述衍生的大规模数据集，并训练一个联合执行 DMC 和图像字幕生成的多任务模型，作者表明 DMC 性能的提升与字幕生成质量的提高密切相关，从而为视觉-语言理解建立了新的基准，人类表现的上限为 82.8% 的准确率。

ABSTRACT

We introduce a new multi-modal task for computer systems, posed as a combined vision-language comprehension challenge: identifying the most suitable text describing a scene, given several similar options. Accomplishing the task entails demonstrating comprehension beyond just recognizing "keywords" (or key-phrases) and their corresponding visual concepts. Instead, it requires an alignment between the representations of the two modalities that achieves a visually-grounded "understanding" of various linguistic elements and their dependencies. This new task also admits an easy-to-compute and well-studied metric: the accuracy in detecting the true target among the decoys. The paper makes several contributions: an effective and extensible mechanism for generating decoys from (human-created) image captions; an instance of applying this mechanism, yielding a large-scale machine comprehension dataset (based on the COCO images and captions) that we make publicly available; human evaluation results on this dataset, informing a performance upper-bound; and several baseline and competitive learning approaches that illustrate the utility of the proposed task and dataset in advancing both image and language comprehension. We also show that, in a multi-task learning setting, the performance on the proposed task is positively correlated with the end-to-end task of image captioning.

研究动机与目标

• 开发一项新基准任务，以衡量视觉-语言模型在超越关键词匹配的基础上，对视觉与语言表征进行对齐的能力。
• 构建一个大规模、公开可用的数据集（MCIC-COCO），用于基于 COCO 图像与人工生成字幕的双任务机器理解。
• 在 DMC 任务上建立人类表现的上限，以指导未来模型的开发。
• 探究多任务学习对 DMC 与图像字幕生成性能的影响。
• 证明 DMC 任务中理解能力的提升与端到端视觉-语言任务（如图像字幕生成）性能的提高存在相关性。

提出的方法

• 提出一种算法，从人工创建的图像描述中生成语义相似、具有对抗性的干扰字幕，确保其与真实描述在语言和视觉上均高度相似。
• 通过将该干扰生成方法应用于 COCO 数据集，构建了 MCIC-COCO 数据集，形成每张图像配备多个选项的大规模基准数据集。
• 设计了一种多任务学习框架，使单一模型联合优化 DMC 分类与图像字幕生成任务，采用加权损失函数。
• 模型架构结合视觉编码器（如 CNN 或 ResNet）与序列到序列解码器（Vec2seq+FFNN），将视觉特征映射为自然语言。
• 训练目标结合了 DMC 准确率的交叉熵损失与字幕生成的序列生成损失（如 CIDEr 或 ROUGE-L），并通过超参数 λ_gen 平衡两者。
• 在 MCIC-COCO 数据集上开展了人工评估，确定 DMC 任务的人类表现上限为 82.8% 的准确率。

实验结果

研究问题

• RQ1 双模态视觉-语言理解任务是否能有效衡量模型在超越关键词识别基础上对视觉与语言表征的对齐能力？
• RQ2 所提出的干扰生成方法在创建语义相似但错误的字幕替代选项方面是否有效，以实现稳健评估？
• RQ3 DMC 任务上的表现与端到端图像字幕生成任务上的表现之间存在多大程度的相关性？
• RQ4 联合优化 DMC 与字幕生成的多任务学习是否能同时提升两个任务的性能？
• RQ5 所提出的 DMC 基准任务上的人类表现上限是多少？

主要发现

• 在 MCIC-COCO 数据集上，人类表现的上限为 82.8% 的准确率，表明当前模型能力与人类水平之间仍存在显著差距。
• 基线模型在 DMC 任务上的准确率仅为约 50–60%，与人类表现相比存在显著性能差距。
• 采用 λ_gen = 4.0 的多任务学习模型在验证集上达到 63.0% 的 DMC 准确率，在测试集上达到 60.9%，同时 CIDEr 得分分别高达 0.989 和 0.938。
• DMC 准确率与图像字幕生成性能（以 CIDEr 衡量）之间存在强烈正相关，表明理解能力的提升可增强生成质量。
• 在较高 λ_gen 值下观察到 DMC 准确率与字幕生成性能之间的权衡，表明多任务训练中需谨慎平衡两者。
• 使用联合目标训练的 Vec2seq+FFNN 模型表明，理解能力的提升可带来更好的端到端字幕生成效果，验证了 DMC 任务作为视觉-语言理解代理指标的有效性。