[论文解读] Relation Transformer Network

Rajat Koner, Shit, Suprosanna+1 more|arXiv (Cornell University)|Apr 13, 2020

Multimodal Machine Learning Applications参考文献 58被引用 5

一句话总结

本文提出关系变换器网络（RTN），一种基于Transformer的新架构，用于场景图生成。该模型通过编码器中的自注意力机制建模对象间相互作用，通过解码器中的交叉注意力机制建模对象与关系间的相互作用。它引入了一种新颖的边位置编码方法，在Visual Genome和GQA数据集上分别实现了4.85%和3.1%的平均召回率提升，达到当前最优性能。

ABSTRACT

The extraction of a scene graph with objects as nodes and mutual relationships as edges is the basis for a deep understanding of image content. Despite recent advances, such as message passing and joint classification, the detection of visual relationships remains a challenging task due to sub-optimal exploration of the mutual interaction among the visual objects. In this work, we propose a novel transformer formulation for scene graph generation and relation prediction. We leverage the encoder-decoder architecture of the transformer for rich feature embedding of nodes and edges. Specifically, we model the node-to-node interaction with the self-attention of the transformer encoder and the edge-to-node interaction with the cross-attention of the transformer decoder. Further, we introduce a novel positional embedding suitable to handle edges in the decoder. Finally, our relation prediction module classifies the directed relation from the learned node and edge embedding. We name this architecture as Relation Transformer Network (RTN). On the Visual Genome and GQA dataset, we have achieved an overall mean of 4.85% and 3.1% point improvement in comparison with state-of-the-art methods. Our experiments show that Relation Transformer can efficiently model context across various datasets with small, medium, and large-scale relation classification.

研究动机与目标

• 解决现有方法在场景图生成中对视觉对象间相互作用建模不足的问题。
• 通过结构化Transformer架构利用全局与局部上下文信息，提升视觉关系预测性能。
• 设计一种新颖的边位置编码方法，用于Transformer解码器，以在全局信息聚合过程中保留局部上下文。
• 通过专用的关系预测模块，整合上下文化的节点与边表征，提升关系分类性能。
• 在预测头中引入频率偏差，缓解视觉关系检测中的类别不平衡问题。

提出的方法

• 利用Transformer编码器通过自注意力机制建模节点间（N2N）的相互作用，捕捉对象之间的全局上下文信息。
• 利用Transformer解码器通过交叉注意力机制建模边与节点（E2N）的相互作用，实现上下文感知的关系预测。
• 提出一种新颖的边位置编码方法，编码源节点身份与空间接近度，在全局聚合过程中保留局部上下文。
• 将物体特征（空间与语义嵌入）与学习得到的位置编码结合，作为Transformer编码器与解码器的输入。
• 应用关系预测模块（RPM），通过全局平均池化与频率偏差，从融合的节点与边表征中分类预测有向谓词。
• 采用标准交叉熵损失进行端到端训练，优化场景图中的三元组分类任务。

实验结果

研究问题

• RQ1 基于Transformer的架构能否有效建模用于视觉关系预测的节点间与边与节点间的相互作用？
• RQ2 为边设计的新位置编码方法对场景图生成模型性能有何影响？
• RQ3 全局上下文与局部节点信息的融合在多大程度上提升了关系分类的准确性？
• RQ4 自注意力机制在解码器中的应用与预测头中频率偏差的引入，对长尾数据集上的性能有何影响？
• RQ5 所提出的RTN能否在不同规模与关系复杂度的数据集上实现良好泛化？

主要发现

• 与最先进方法相比，RTN在Visual Genome数据集上的平均召回率绝对提升了4.85%。
• 在GQA数据集上，RTN相比之前最先进方法将平均召回率提升了3.1%。
• 消融实验表明，移除所提出的边位置编码会导致性能下降，证实其在保留局部与全局上下文方面的有效性。
• 移除词嵌入会导致召回率在50时下降0.6%，表明词嵌入提供的语义线索对关系预测至关重要。
• 缺乏频率偏差会导致召回率在50时显著下降1.6%，凸显其在缓解长尾数据集中类别不平衡问题中的重要性。
• 当所有组件——词嵌入、空间嵌入、全局平均池化与频率偏差——均被使用时，模型性能最佳，在Visual Genome数据集上达到68.7%的召回率（100时）。