[论文解读] One-shot Scene Graph Generation

Yuyu Guo, Jingkuan Song+2 more|arXiv (Cornell University)|Feb 22, 2022

Multimodal Machine Learning Applications参考文献 42被引用 5

一句话总结

本文提出了一种新型任务——零样本场景图生成（One-Shot Scene Graph Generation），要求模型仅从一个带标注的示例中预测视觉关系。该方法提出了一种实例关系变换器（Instance Relation Transformer）和多种结构化知识（关系知识与常识知识），以利用先验知识，在自建的零样本数据集上实现了最先进性能，显著优于现有方法，且仅需极少的监督信号。

ABSTRACT

As a structured representation of the image content, the visual scene graph (visual relationship) acts as a bridge between computer vision and natural language processing. Existing models on the scene graph generation task notoriously require tens or hundreds of labeled samples. By contrast, human beings can learn visual relationships from a few or even one example. Inspired by this, we design a task named One-Shot Scene Graph Generation, where each relationship triplet (e.g., "dog-has-head") comes from only one labeled example. The key insight is that rather than learning from scratch, one can utilize rich prior knowledge. In this paper, we propose Multiple Structured Knowledge (Relational Knowledge and Commonsense Knowledge) for the one-shot scene graph generation task. Specifically, the Relational Knowledge represents the prior knowledge of relationships between entities extracted from the visual content, e.g., the visual relationships "standing in", "sitting in", and "lying in" may exist between "dog" and "yard", while the Commonsense Knowledge encodes "sense-making" knowledge like "dog can guard yard". By organizing these two kinds of knowledge in a graph structure, Graph Convolution Networks (GCNs) are used to extract knowledge-embedded semantic features of the entities. Besides, instead of extracting isolated visual features from each entity generated by Faster R-CNN, we utilize an Instance Relation Transformer encoder to fully explore their context information. Based on a constructed one-shot dataset, the experimental results show that our method significantly outperforms existing state-of-the-art methods by a large margin. Ablation studies also verify the effectiveness of the Instance Relation Transformer encoder and the Multiple Structured Knowledge.

研究动机与目标

• 为解决现有场景图生成模型依赖大规模标注数据的局限性。
• 使模型能够从单个标注示例中学习视觉关系，模仿人类的少样本学习能力。
• 将先验知识——特别是关系知识与常识知识——整合到场景图生成过程中。
• 设计一种新型架构——实例关系变换器（Instance Relation Transformer），以更好地捕捉对象之间的上下文关系。
• 构建并评估一个零样本场景图数据集，用于基准测试少样本视觉关系理解能力。

提出的方法

• 该方法引入了多种结构化知识：来自 Visual Genome 的关系知识，用于捕捉对象对之间可能的视觉关系（例如，'站在...上'、'坐在...里'）。
• 来自 ConceptNet 的常识知识，用于编码一般性世界事实（例如，'狗可以看护院子'），以支持超越视觉线索的推理。
• 这两种知识类型被组织成图结构，并通过图卷积网络（GCNs）进行处理，生成嵌入知识的实体特征。
• 使用实例关系变换器编码器，通过关注所有对象对之间的关系来建模对象间的上下文关系，从而在孤立的 Faster R-CNN 特征基础上提升特征表示能力。
• 模型在新构建的零样本场景图数据集上进行端到端训练，其中每个关系仅有唯一一个标注示例。
• 在 PredCls 设置（预定义的对象类别）下评估性能，使用 Recall@K 指标衡量关系预测的准确性。

实验结果

研究问题

• RQ1 模型能否仅凭一个标注示例就泛化预测视觉关系，类似于人类的少样本学习？
• RQ2 关系知识与常识知识的融合在提升少样本场景图生成方面有多有效？
• RQ3 基于注意力的关系编码器（实例关系变换器）是否优于标准特征提取方法，以更好地捕捉对象间上下文？
• RQ4 先验知识能否减少视觉关系理解对大规模标注数据集的依赖？
• RQ5 当空间线索具有误导性或模糊时，模型的失败模式是什么？

主要发现

• 所提方法在零样本场景图生成基准上显著优于现有最先进方法，展现出强大的少样本泛化能力。
• 消融实验确认，实例关系变换器与多种结构化知识均对性能提升有显著贡献。
• 模型仅凭一个示例即可成功预测空间关系（例如，'衬衫在枪上方'、'球拍在手中'）和常识关系（例如，'狗有头'、'狗有鼻子'）。
• 失败案例主要源于空间模糊性——例如，边界框重叠或完全包含导致错误预测'在...上'，表明模型过度依赖空间信号。
• 模型在 PredCls 设置下保持强大性能，甚至优于基于强化学习的方法，尤其在对象类别固定时表现更优。
• 该方法在标准场景图生成任务上也表现出良好泛化能力，在标准基准上取得了具有竞争力的结果，表明其在少样本学习之外也具有广泛适用性。