[论文解读] Prototype-based Embedding Network for Scene Graph Generation

Chaofan Zheng, Xinyu Lyu+3 more|arXiv (Cornell University)|Mar 13, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出原型嵌入网络（PE-Net），一种新型的场景图生成方法，通过使用语义原型建模实体和谓词，以减少类内差异和类间相似性。通过原型引导学习和原型正则化，PE-Net在Visual Genome和Open Images数据集上实现了最先进性能，以紧凑且独特的表示显著提升了关系预测准确率。

ABSTRACT

Current Scene Graph Generation (SGG) methods explore contextual information to predict relationships among entity pairs. However, due to the diverse visual appearance of numerous possible subject-object combinations, there is a large intra-class variation within each predicate category, e.g., "man-eating-pizza, giraffe-eating-leaf", and the severe inter-class similarity between different classes, e.g., "man-holding-plate, man-eating-pizza", in model's latent space. The above challenges prevent current SGG methods from acquiring robust features for reliable relation prediction. In this paper, we claim that the predicate's category-inherent semantics can serve as class-wise prototypes in the semantic space for relieving the challenges. To the end, we propose the Prototype-based Embedding Network (PE-Net), which models entities/predicates with prototype-aligned compact and distinctive representations and thereby establishes matching between entity pairs and predicates in a common embedding space for relation recognition. Moreover, Prototype-guided Learning (PL) is introduced to help PE-Net efficiently learn such entitypredicate matching, and Prototype Regularization (PR) is devised to relieve the ambiguous entity-predicate matching caused by the predicate's semantic overlap. Extensive experiments demonstrate that our method gains superior relation recognition capability on SGG, achieving new state-of-the-art performances on both Visual Genome and Open Images datasets.

研究动机与目标

• 解决由主语-宾语对多样视觉外观引起的谓词表示中类内差异过大的问题。
• 缓解视觉上相似但语义上不同的谓词（如“eating”和“holding”）之间的严重类间相似性问题。
• 通过在共享嵌入空间中使用紧凑、独特且与原型对齐的表示来建模实体和谓词，提升关系识别性能。
• 开发一种训练策略，即使在存在语义和视觉模糊性的情况下，也能实现稳健的实体-谓词匹配。
• 在不依赖消息传递模块的前提下，实现在标准SGG基准上的最先进性能。

提出的方法

• PE-Net在共享嵌入空间中将每个实体和谓词建模为与原型对齐的表示，利用类别固有的语义信息引导特征学习。
• 提出原型引导学习（PL），通过最小化嵌入空间中的相似度和欧氏距离损失，优化实体对与谓词之间的匹配。
• 设计原型正则化（PR），通过将不同谓词的原型相互推开，尤其针对语义重叠的谓词，以增强类间区分性。
• 模型在最终的实体-谓词嵌入上使用线性分类器进行关系预测，避免使用复杂的消息传递模块。
• 采用多任务损失联合优化关系预测和原型对齐目标，实现端到端训练。
• 原型嵌入使用预训练的文本嵌入进行初始化，并在训练过程中与视觉特征对齐以进一步优化。

实验结果

研究问题

• RQ1 语义空间中的基于原型的表示能否减少谓词特征的类内差异？
• RQ2 原型正则化能否有效区分视觉上相似但语义不同的谓词？
• RQ3 原型引导学习是否能提升场景图生成中实体-谓词匹配的准确性？
• RQ4 基于原型的方法是否能在不使用消息传递模块的情况下超越现有SGG方法？
• RQ5 与基线模型相比，该方法在细粒度谓词识别方面的提升程度如何？

主要发现

• PE-Net在Visual Genome数据集上达到最先进性能，PredCls任务的mR@100达到33.8%，显著优于基线模型（25.4%）。
• 在Open Images数据集上，PE-Net实现了新的最先进结果，展现出在多样化视觉分布下的强大泛化能力。
• 模型降低了表示质量度量指标：IV-O（0.74）和IIVR-O（0.24），表明嵌入具有高度紧凑性和独特性。
• 可视化结果表明，与Motifs相比，PE-Net能生成更细粒度且更准确的关系（如“parked on”而非“on”）。
• 消融实验表明，原型引导学习和原型正则化均不可或缺，其中PR在类间区分性方面贡献显著。
• 尽管头部谓词的Recall@K略有下降，但模型通过将“on”正确分配给更具体的变体（如“standing on”或“walking on”）显著提升了细粒度分类性能。