[论文解读] SPAN: Learning Similarity between Scene Graphs and Images with Transformers

Yuren Cong, Wentong Liao+2 more|arXiv (Cornell University)|Apr 2, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出 GICON，一种基于图神经网络与图像 Transformer 的对比学习框架，用于衡量场景图与图像之间的语义相似性。通过结构化编码对场景图进行序列化，该模型实现了鲁棒的、图感知的图像检索，并引入了 R-Precision 作为新的、抗噪声的场景图生成评估指标，在 Visual Genome 和 Open Images 数据集上优于基于三元组的评估指标。

ABSTRACT

Learning similarity between scene graphs and images aims to estimate a similarity score given a scene graph and an image. There is currently no research dedicated to this task, although it is critical for scene graph generation and downstream applications. Scene graph generation is conventionally evaluated by Recall$@K$ and mean Recall$@K$, which measure the ratio of predicted triplets that appear in the human-labeled triplet set. However, such triplet-oriented metrics fail to demonstrate the overall semantic difference between a scene graph and an image and are sensitive to annotation bias and noise. Using generated scene graphs in the downstream applications is therefore limited. To address this issue, for the first time, we propose a Scene graPh-imAge coNtrastive learning framework, SPAN, that can measure the similarity between scene graphs and images. Our novel framework consists of a graph Transformer and an image Transformer to align scene graphs and their corresponding images in the shared latent space. We introduce a novel graph serialization technique that transforms a scene graph into a sequence with structural encodings. Based on our framework, we propose R-Precision measuring image retrieval accuracy as a new evaluation metric for scene graph generation. We establish new benchmarks on the Visual Genome and Open Images datasets. Extensive experiments are conducted to verify the effectiveness of SPAN, which shows great potential as a scene graph encoder.

研究动机与目标

• 解决基于三元组的评估指标（如 Recall@K）在捕捉场景图与图像之间全局语义对齐方面的局限性。
• 开发一种统一的对比学习框架，利用 Transformer 将场景图与图像对齐于共享潜在空间。
• 提出一种基于生成的场景图作为查询进行图像检索准确率的新评估指标 R-Precision。
• 基于所提出的基于相似度的评估方法，在 Visual Genome 和 Open Images 上建立新的基准。
• 展示一种图序列化技术，能够有效保留结构信息，从而支持图 Transformer 编码器进行有效的图表示学习。

提出的方法

• 一种图序列化技术将场景图转换为带有结构编码的序列，使图 Transformer 能够处理图结构数据。
• 通过对比学习训练两个独立的 Transformer（图和图像），以在共享潜在空间中对齐场景图与其对应的图像。
• 该框架使用对比损失函数，最大化正样本图像-场景图对之间的相似性，同时最小化负样本对之间的相似性。
• R-Precision 通过从候选集中检索最相似的前 K 张图像并计算正确检索到的真实图像比例来计算。
• 该方法支持无位置信息和有位置信息的场景图，其中边界框信息被整合到图表示中。
• 消融实验评估了 Transformer 深度和架构对性能的影响，发现 6 层为最优配置。

实验结果

研究问题

• RQ1 基于 Transformer 的对比学习框架能否有效衡量场景图与图像之间的语义相似性？
• RQ2 所提出的图序列化技术是否足够好地保留结构信息，以支持有效的图表示学习？
• RQ3 在数据偏差或噪声存在的情况下，R-Precision 与 Recall@K 在评估场景图生成质量方面有何差异？
• RQ4 当使用生成的场景图作为查询时，所提出的框架能否提升图像检索性能？
• RQ5 图和图像 Transformer 的最优深度是多少，能够在性能与过拟合之间取得平衡？

主要发现

• 在 Open Images V6 数据集上，使用有位置信息的场景图和 K=100 时，GICON 框架的 R-Precision 达到 78.9%。
• 在 Visual Genome 数据集上，使用有位置信息的图和 K=100 时，模型的 R-Precision 达到 76.1%，表现出强大的检索性能。
• 最优模型配置在图和图像 Transformer 中均使用 6 层，更深的网络（8 层）因过拟合导致性能下降。
• 在 Open Images 数据集上，该框架在 78.9% 的情况下能将正确图像排在首位，优于使用场景图查询时的 CLIP。
• 定性结果表明，即使在三元组级别指标因标签偏差而失效时，模型仍能正确识别语义相似的图像。
• 在 Visual Genome 和 Open Images 上，真实场景图与图像之间的平均相似度均为 0.56，表明潜在空间中具有稳定的对齐性。