[论文解读] Scene Graph Parsing by Attention Graph

Martin Andrews, Yew Ken Chia+1 more|arXiv (Cornell University)|Sep 13, 2019

Multimodal Machine Learning Applications参考文献 26被引用 8

一句话总结

本文提出了一种可端到端训练的“注意力图”机制，利用预训练Transformer的自注意力层，直接从自然语言描述中预测场景图结构。通过并行分类节点类型和父弧，该模型在Visual Genome数据集上的SPICE指标上取得了52.21%的F值，较之前的方法高出2.5%。

ABSTRACT

Scene graph representations, which form a graph of visual object nodes together with their attributes and relations, have proved useful across a variety of vision and language applications. Recent work in the area has used Natural Language Processing dependency tree methods to automatically build scene graphs. In this work, we present an 'Attention Graph' mechanism that can be trained end-to-end, and produces a scene graph structure that can be lifted directly from the top layer of a standard Transformer model. The scene graphs generated by our model achieve an F-score similarity of 52.21% to ground-truth graphs on the evaluation set using the SPICE metric, surpassing the best previous approaches by 2.5%.

研究动机与目标

• 开发一种场景图解析模型，直接利用预训练Transformer的注意力机制实现端到端学习。
• 通过实现对图结构的全局、并行预测，克服顺序性、基于转移的解析方法的局限性。
• 通过一种新颖的注意力驱动图构建机制，在Visual Genome数据集上提升场景图解析性能。
• 探究利用注意力头以结构化、可微分方式隐式建模节点连接性和类型分类的可行性。

提出的方法

• 在区域描述及其对应场景图上微调一个预训练的OpenAI Transformer模型（12层，768维隐藏状态）。
• 引入一种自定义的“注意力图”层，用于为每个词标记同时预测节点类型（例如，SUBJ、PRED、OBJT、ATTR、same、none）和父节点索引。
• 使用加权交叉熵损失的和来训练注意力图层：一个用于节点类型分类，另一个用于父弧预测。
• 在Transformer中使用掩码自注意力机制，使模型能同时关注所有标记，从而实现并行图结构预测，而非顺序转移。
• 通过在所有可能的父节点上使用可微分的softmax，为父弧生成软标签，其中“none”表示无连接。
• 利用CONLL文件格式表示节点类型和弧方向，使模型能够输出结构化结果。

实验结果

研究问题

• RQ1 预训练Transformer的自注意力机制能否被直接适配，以端到端方式预测结构化的场景图组件（对象、属性、关系）？
• RQ2 并行的、基于注意力的图构建方法是否优于顺序的、基于转移的解析方法，在场景图解析任务中？
• RQ3 在Visual Genome数据集上，基于自然语言描述训练的模型在多大程度上能生成与真实标注对齐的场景图？
• RQ4 所提出的注意力图模型在性能上与最先进方法相比如何，特别是在SPICE F值方面？
• RQ5 Visual Genome数据集本身存在哪些限制，它们如何影响模型性能的上限？

主要发现

• 所提出的注意力图模型在Visual Genome验证集上的SPICE F值达到52.21%，较之前最佳方法提升2.5%。
• 尽管在较弱的Oracle基线设置下进行训练，该模型仍优于先前方法，表明注意力架构在捕捉结构依赖关系方面更具优势。
• 当仅限于有用词汇时，用于训练的Oracle系统可达到更高的F值（66.30%），表明数据集的标注质量可能限制了模型性能。
• 尽管Oracle系统性能很高，模型仍存在显著提升空间，表明数据质量问题（如关系缺失或虚假属性）限制了性能上限。
• 注意力机制实现了图结构的直接、并行预测，避免了基于转移解析器固有的顺序依赖问题。
• 作者观察到，模型性能的瓶颈并非来自架构设计，而是来自Visual Genome数据集中的不一致性，如描述中遗漏关系或属性标注过多。