[论文解读] Resolving Language and Vision Ambiguities Together: Joint Segmentation & Prepositional Attachment Resolution in Captioned Scenes

Gordon Christie, Ankit Laddha+5 more|arXiv (Cornell University)|Apr 7, 2016

Multimodal Machine Learning Applications参考文献 49被引用 14

一句话总结

本文提出了一种联合框架，用于在带字幕图像中同时进行语义分割和介词短语附着解析（PPAR），通过视觉和语言模块生成的多样化假设，利用 MEDIATOR 模del实现一致的多模态推理。该方法显著优于独立模型，在 PPAR 准确率上相比 Stanford Parser 最高提升 28.69% 相对误差，并通过视觉与语言模块之间的协同推理，在多个基准数据集上取得了最先进性能。

ABSTRACT

We present an approach to simultaneously perform semantic segmentation and prepositional phrase attachment resolution for captioned images. Some ambiguities in language cannot be resolved without simultaneously reasoning about an associated image. If we consider the sentence "I shot an elephant in my pajamas", looking at language alone (and not using common sense), it is unclear if it is the person or the elephant wearing the pajamas or both. Our approach produces a diverse set of plausible hypotheses for both semantic segmentation and prepositional phrase attachment resolution that are then jointly reranked to select the most consistent pair. We show that our semantic segmentation and prepositional phrase attachment resolution modules have complementary strengths, and that joint reasoning produces more accurate results than any module operating in isolation. Multiple hypotheses are also shown to be crucial to improved multiple-module reasoning. Our vision and language approach significantly outperforms the Stanford Parser (De Marneffe et al., 2006) by 17.91% (28.69% relative) and 12.83% (25.28% relative) in two different experiments. We also make small improvements over DeepLab-CRF (Chen et al., 2015).

研究动机与目标

• 解决带字幕图像中语言与视觉解释的模糊性问题，因为单一模态无法解决所有模糊性。
• 克服流水线系统将视觉与语言模块孤立处理所导致的错误传播问题。
• 开发一种联合推理框架，利用视觉与语言模块的互补优势，提升分割与解析的准确性。
• 证明多样化假设生成与基于一致性的重排序，相比单一模块输出，能带来更鲁棒、更准确的多模态理解。

提出的方法

• 每个视觉与语言模块生成 M 个多样化且合理的假设（例如，多种分割结果或句子解析），以表示不确定性。
• MEDIATOR 模型对所有 M² 个假设对进行评分，以衡量视觉与语言输出之间的一致性。
• 该模型使用学习到的评分函数，结合视觉与语言证据，损失函数通过 α 加权以平衡模块贡献。
• 最终预测为在假设空间中通过联合搜索选出的得分最高的、一致的假设对。
• 该框架通过联合损失函数进行端到端训练，以鼓励预测分割与解析之间的一致性。
• 该方法在三个数据集上进行评估：ABSTRACT-50S、PASCAL-50S 和 PASCAL-Context-50S，使用人工标注的先验关系作为真实标签。

实验结果

研究问题

• RQ1 视觉与语言模块之间的联合推理是否能将语义分割与介词短语附着解析的准确性提升至超过单一模块性能？
• RQ2 视觉与语言模块生成的多样化假设在提升多模态推理鲁棒性方面起到何种作用？
• RQ3 视觉与语言预测之间的一致性在多大程度上能减少带字幕场景中的模糊性？
• RQ4 MEDIATOR 模型通过重排序假设对的能力是否能带来相对于独立模块输出的可测量性能提升？
• RQ5 性能对联合损失函数中视觉与语言模块相对权重的敏感程度如何？

主要发现

• 在 PASCAL-50S 数据集上，MEDIATOR 模型相比 Stanford Parser 将 PPAR 准确率提升 17.91%（相对提升 28.69%）。
• 在 PASCAL-Context-50S 数据集上，该方法相比 Stanford Parser 实现了 12.83% 的绝对提升（相对提升 25.28%）。
• 该方法在所有数据集上均以微小但一致的幅度优于 DeepLab-CRF，证明了其在联合推理中的有效性。
• MEDIATOR 模型对 α（模块间权重）的选择具有鲁棒性，在广泛取值范围内均保持峰值性能。
• 使用多个多样化假设至关重要：基于一致假设对的联合推理优于单一假设基线。
• 定性结果表明，正确的分割与解析结果总是被一致选择，证明了跨模态对齐的有效性。