[论文解读] Scene Graph Generation: A Comprehensive Survey

Guangming Zhu, Liang Zhang+9 more|arXiv (Cornell University)|Jan 3, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

本综述全面回顾了138种最先进的场景图生成（SGG）方法，系统分析了基于图像的SGG的特征表示与优化技术。它提供了视觉关系检测的统一概述，识别出诸如噪声标注和评估指标等关键挑战，并提出了未来方向，包括3D场景图和细粒度数据集。

ABSTRACT

Deep learning techniques have led to remarkable breakthroughs in the field of generic object detection and have spawned a lot of scene-understanding tasks in recent years. Scene graph has been the focus of research because of its powerful semantic representation and applications to scene understanding. Scene Graph Generation (SGG) refers to the task of automatically mapping an image into a semantic structural scene graph, which requires the correct labeling of detected objects and their relationships. Although this is a challenging task, the community has proposed a lot of SGG approaches and achieved good results. In this paper, we provide a comprehensive survey of recent achievements in this field brought about by deep learning techniques. We review 138 representative works that cover different input modalities, and systematically summarize existing methods of image-based SGG from the perspective of feature extraction and fusion. We attempt to connect and systematize the existing visual relationship detection methods, to summarize, and interpret the mechanisms and the strategies of SGG in a comprehensive way. Finally, we finish this survey with deep discussions about current existing problems and future research directions. This survey will help readers to develop a better understanding of the current research status and ideas.

研究动机与目标

• 提供深度学习驱动的场景图生成（SGG）近期进展的系统性与全面性综述。
• 根据其特征表示与优化策略，对138种代表性SGG方法进行分类与分析。
• 识别并讨论SGG中的关键挑战，包括关系定义模糊、类别不平衡以及评估指标的局限性。
• 探索未来研究方向，如3D场景图、细粒度数据集以及场景特定的模型设计。
• 为研究人员提供基础参考，以理解当前最先进水平，并指导视觉场景理解领域的未来工作。

提出的方法

• 本综述对138种代表性SGG工作进行了系统性文献回顾，重点关注特征表示与优化技术。
• 根据其在目标检测、关系预测和特征学习（视觉、语义或混合）方面的方法对方法进行分类。
• 分析注意力机制、图神经网络（GNNs）以及基于Transformer的架构在建模对象关系中的作用。
• 评估数据质量、标注一致性以及数据集偏差对模型性能的影响。
• 讨论架构创新，如GNN中的消息传递机制以及视觉-语言模型中的跨模态对齐。
• 研究外部知识与常识推理的整合，以提升关系预测性能并减少歧义。

实验结果

研究问题

• RQ1 不同的深度学习架构在多大程度上提升了场景图生成模型的性能？
• RQ2 SGG中用于目标与关系检测的特征表示与优化的主导策略是什么？
• RQ3 SGG中的关键挑战有哪些，包括噪声标注、关系定义模糊以及评估指标的局限性？
• RQ4 如何将场景图生成扩展到3D与基于视频的场景？这些领域中的开放性问题是什么？
• RQ5 哪些未来研究方向最有可能提升SGG模型的鲁棒性、泛化能力与可解释性？

主要发现

• 综述指出，视觉-语义特征融合与图神经网络是当前最先进SGG性能的核心。
• 尽管已有进展，但Recall@K等评估指标仅提供相对性能，无法全面反映生成场景图的质量。
• 缺乏标准化且无歧义的关系词汇表导致标注噪声大，学习任务设定不明确。
• 关系分布中的类别不平衡显著影响模型泛化能力，尤其对罕见关系影响更大。
• 3D场景图生成仍处于发展初期，不同3D模态（如RGB-D、点云）在结构与表示方面缺乏标准化。
• 未来工作应优先关注高质量、专家标注的数据集以及场景特定的模型设计，以提升鲁棒性与适用性。