[论文解读] Scene Graph Generation via Conditional Random Fields

Weilin Cong, William Yang Wang+1 more|arXiv (Cornell University)|Nov 20, 2018

Multimodal Machine Learning Applications参考文献 26被引用 18

一句话总结

本文提出SG-CRF，一种新型场景图生成模型，通过在场景图中建模主语-宾语顺序与语义兼容性，提升了关系预测性能。通过利用条件随机场（CRF），SG-CRF在CLEVR、VRD和Visual Genome数据集上均达到当前最优性能，将Recall@100分别提升至49.95%、50.47%和54.77%。

ABSTRACT

Despite the great success object detection and segmentation models have achieved in recognizing individual objects in images, performance on cognitive tasks such as image caption, semantic image retrieval, and visual QA is far from satisfactory. To achieve better performance on these cognitive tasks, merely recognizing individual object instances is insufficient. Instead, the interactions between object instances need to be captured in order to facilitate reasoning and understanding of the visual scenes in an image. Scene graph, a graph representation of images that captures object instances and their relationships, offers a comprehensive understanding of an image. However, existing techniques on scene graph generation fail to distinguish subjects and objects in the visual scenes of images and thus do not perform well with real-world datasets where exist ambiguous object instances. In this work, we propose a novel scene graph generation model for predicting object instances and its corresponding relationships in an image. Our model, SG-CRF, learns the sequential order of subject and object in a relationship triplet, and the semantic compatibility of object instance nodes and relationship nodes in a scene graph efficiently. Experiments empirically show that SG-CRF outperforms the state-of-the-art methods, on three different datasets, i.e., CLEVR, VRD, and Visual Genome, raising the Recall@100 from 24.99% to 49.95%, from 41.92% to 50.47%, and from 54.69% to 54.77%, respectively.

研究动机与目标

• 为解决现有场景图生成方法在模糊现实场景中难以区分主语与宾语的局限性。
• 提升视觉问答、图像字幕生成和语义图像检索等认知视觉任务的性能。
• 比以往方法更有效地建模关系三元组中主语与宾语的顺序。
• 通过增强场景图中对象实例与关系之间的语义兼容性，提升推理与理解能力。

提出的方法

• SG-CRF采用条件随机场（CRF）来建模关系三元组中主语与宾语的顺序。
• 模型显式学习场景图中对象节点与关系节点之间的语义兼容性。
• 将结构约束整合到CRF框架中，以确保预测关系中主语-宾语顺序的合理性。
• 采用结构化预测框架，联合优化目标检测与关系预测。
• 使用可微分的CRF层，支持端到端反向传播训练。
• 网络架构设计旨在通过优先选择语义一致且有序的三元组，有效处理模糊的对象实例。

实验结果

研究问题

• RQ1 如何在场景图生成中有效解决现实图像中主语-宾语的模糊性？
• RQ2 建模主语与宾语的顺序是否能提升关系预测性能？
• RQ3 在对象与关系之间强制实施语义兼容性，能在多大程度上提升场景图质量？
• RQ4 与自回归或独立预测方法相比，CRF这类结构化预测方法是否在场景图生成中表现更优？

主要发现

• 在CLEVR数据集上，SG-CRF的Recall@100达到49.95%，相比此前最先进方法的24.99%有显著提升。
• 在VRD数据集上，模型将Recall@100从41.92%提升至50.47%，展现出强大的泛化能力。
• 在Visual Genome数据集上，SG-CRF的Recall@100达到54.77%，略高于此前最先进方法。
• 性能提升主要归因于模型对主语-宾语顺序与语义兼容性的有效学习能力。
• 结果表明，通过CRF进行结构化预测可生成比以往方法更连贯、更准确的场景图。
• 该方法在多种数据集上均表现出良好泛化能力，涵盖合成数据（CLEVR）、真实世界数据（VRD）和复杂数据（Visual Genome）基准。