[论文解读] Visual Relationship Detection using Scene Graphs: A Survey

Aniket Agarwal, Ayush Mangal+1 more|arXiv (Cornell University)|May 16, 2020

Multimodal Machine Learning Applications参考文献 97被引用 13

一句话总结

本综述提出Factorizable-Net，一种通过将关系预测任务分解为语义相似物体对的子图，利用场景图实现高效视觉关系检测的方法。该方法通过空间加权消息传递和稀疏图生成策略降低计算成本，在Visual Genome数据集上实现了最先进性能，并在长尾关系上表现出更好的泛化能力。

ABSTRACT

Understanding a scene by decoding the visual relationships depicted in an image has been a long studied problem. While the recent advances in deep learning and the usage of deep neural networks have achieved near human accuracy on many tasks, there still exists a pretty big gap between human and machine level performance when it comes to various visual relationship detection tasks. Developing on earlier tasks like object recognition, segmentation and captioning which focused on a relatively coarser image understanding, newer tasks have been introduced recently to deal with a finer level of image understanding. A Scene Graph is one such technique to better represent a scene and the various relationships present in it. With its wide number of applications in various tasks like Visual Question Answering, Semantic Image Retrieval, Image Generation, among many others, it has proved to be a useful tool for deeper and better visual relationship understanding. In this paper, we present a detailed survey on the various techniques for scene graph generation, their efficacy to represent visual relationships and how it has been used to solve various downstream tasks. We also attempt to analyze the various future directions in which the field might advance in the future. Being one of the first papers to give a detailed survey on this topic, we also hope to give a succinct introduction to scene graphs, and guide practitioners while developing approaches for their applications.

研究动机与目标

• 解决视觉关系检测中全连接场景图的计算低效问题，尤其是在物体数量增加时。
• 通过将语义相似的物体对分组为子图，而非处理所有成对关系，减少冗余的关系提议。
• 通过引入物体-关系共现的先验知识，提升模型在长尾关系分布上的泛化能力。
• 设计一种混合学习策略，以处理图构建过程中非可微分组件的问题。
• 通过因子化连接图在子图与物体之间进行消息传递，提升特征精炼效果。

提出的方法

• 使用共享主干CNN的RPN生成物体区域提议，对检测到的物体形成全连接图。
• 基于合并框置信度和非极大值抑制，将物体对分组为子图，以减少冗余。
• 对子图应用ROI池化以提取2D特征图，对物体提取1D向量，实现空间与语义特征融合。
• 采用空间加权消息传递（SMP）模块，通过因子化图上的注意力机制消息传递，精炼物体与子图特征。
• 引入空间敏感关系推理模块（SRI），利用上下文、边界框和RoIAlign特征联合预测谓词。
• 采用混合学习策略：使用策略梯度训练图构建中不可微分的得分矩阵S，其余参数则通过监督学习进行训练。

实验结果

研究问题

• RQ1 如何在不牺牲关系预测准确率的前提下，使场景图构建更加高效？
• RQ2 子图分解在多大程度上能减少视觉关系检测中的冗余关系提议数量？
• RQ3 将物体-关系共现的先验知识纳入模型，是否能提升长尾关系类别上的性能？
• RQ4 与标准GCN相比，基于因子化图的消息传递在特征表示上带来了哪些提升？
• RQ5 在具有不可微分组件的场景图模型训练中，结合强化学习与监督学习会产生何种影响？

主要发现

• Factorizable-Net通过将语义相似的物体对分组为子图，显著降低了计算成本，减少了关系提议数量。
• 该模型在Visual Genome数据集上达到最先进性能，在视觉关系检测的平均平均精度上优于先前方法。
• 混合学习策略使模型在图构建中得分矩阵S不可微分的情况下仍能有效训练。
• SMP与SRI模块通过有效利用空间和上下文线索，提升了特征精炼与谓词分类性能。
• 该方法通过显式建模物体类别与关系之间的统计相关性，在长尾关系上表现出更强的泛化能力。
• 即使是最简单的基线方法——对给定物体对预测最频繁的关系，也比之前最先进方法相对提升了3.6%，凸显了数据集中存在的强烈偏差。