[论文解读] Neural Message Passing for Visual Relationship Detection

Yue Hu, Siheng Chen+3 more|arXiv (Cornell University)|Aug 8, 2022

Multimodal Machine Learning Applications被引用 10

一句话总结

该论文提出神经消息传递（NMP），一种基于图的方法，将视觉关系建模为有向交互图，通过消息传递捕捉对象与交互之间的高阶上下文依赖。通过整合视觉特征、词嵌入和空间线索，NMP在VRD和VG数据集上实现最先进性能，将关系检测的Recall@100提升至96.61%，零样本谓词检测提升至27.50%。

ABSTRACT

Visual relationship detection aims to detect the interactions between objects in an image; however, this task suffers from combinatorial explosion due to the variety of objects and interactions. Since the interactions associated with the same object are dependent, we explore the dependency of interactions to reduce the search space. We explicitly model objects and interactions by an interaction graph and then propose a message-passing-style algorithm to propagate the contextual information. We thus call the proposed method neural message passing (NMP). We further integrate language priors and spatial cues to rule out unrealistic interactions and capture spatial interactions. Experimental results on two benchmark datasets demonstrate the superiority of our proposed method. Our code is available at https://github.com/PhyllisH/NMP.

研究动机与目标

• 解决由于潜在主-谓-宾三元组数量庞大而导致的组合爆炸问题以及上下文建模不足的问题。
• 克服先前方法将关系独立处理或忽略交互间依赖关系的局限性。
• 通过整合语言先验和空间线索，提升泛化能力，以过滤不合理的关联并捕捉空间推理能力。
• 构建一个统一框架，通过在有向交互图上进行结构化消息传递，联合学习对象和交互嵌入。

提出的方法

• 构建一个有向交互图，其中节点表示检测到的对象，边表示潜在的关系（主-谓-宾三元组）。
• 在交互图上应用消息传递机制，以在节点和边之间传播上下文信息，从而增强对象和交互的嵌入表示。
• 将来自目标检测器的视觉外观特征、对象和谓词术语的词嵌入，以及相对空间坐标作为输入特征进行整合。
• 利用增强后的边嵌入结合空间特征，通过多层感知机实现关系三元组的端到端分类。
• 利用图结构建模多个关系之间的高阶依赖关系，例如一个交互如何约束另一个交互的合理性。
• 使用关系预测任务的交叉熵损失进行端到端训练，并通过消融实验验证各组件的贡献。

实验结果

研究问题

• RQ1 在结构化交互图上进行消息传递是否能有效建模视觉关系之间的依赖关系并提升检测性能？
• RQ2 语言先验和空间线索在过滤不合理的关联并增强视觉关系检测中的空间推理能力方面起到何种作用？
• RQ3 通过基于图的消息传递整合高阶上下文信息，在多大程度上提升了泛化能力，尤其是在零样本设置下？
• RQ4 视觉特征、词嵌入、空间线索和消息传递等各个组件对整体性能提升的贡献程度如何？

主要发现

• 在VRD数据集的关系检测任务中，NMP实现了96.61%的新最先进Recall@100，相比之前方法提升约3%。
• 在零样本谓词检测基准上，NMP将R@50和R@100分别提升了5%和4.5%，展现出强大的泛化能力。
• 词嵌入和空间线索的整合在谓词检测中分别带来3%和1%的性能提升，凸显其在过滤不合理关系中的关键作用。
• 消息传递在谓词检测中使Recall@100稳定提升3%，在关系检测中提升2%，证实其在捕捉上下文依赖方面的有效性。
• 在更大的VG数据集上，NMP在谓词检测的R@50和R@100上分别达到89.69%和95.54%，显著超越先前最先进方法。
• 消融实验确认，视觉特征、语言先验、空间线索和消息传递等各组件均对最终性能有显著贡献，其中消息传递提供了最稳定的性能增益。