[论文解读] Relationformer: A Unified Framework for Image-to-Graph Generation

Suprosanna Shit, Rajat Koner+9 more|Zurich Open Repository and Archive (University of Zurich)|Mar 19, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

Relationformer 提出了一种统一的单阶段基于 Transformer 的端到端图像到图生成框架，引入可学习的 [rln]-token 以联合建模物体-关系交互。通过同时整合 [obj]-tokens 和 [rln]-tokens 进行物体检测与关系预测，其在包括道路网络、血管和场景图在内的多种数据集上实现了最先进性能，相较于两阶段基线方法，在准确率、速度和参数效率方面均有提升。

ABSTRACT

A comprehensive representation of an image requires understanding objects and their mutual relationship, especially in image-to-graph generation, e.g., road network extraction, blood-vessel network extraction, or scene graph generation. Traditionally, image-to-graph generation is addressed with a two-stage approach consisting of object detection followed by a separate relation prediction, which prevents simultaneous object-relation interaction. This work proposes a unified one-stage transformer-based framework, namely Relationformer, that jointly predicts objects and their relations. We leverage direct set-based object prediction and incorporate the interaction among the objects to learn an object-relation representation jointly. In addition to existing [obj]-tokens, we propose a novel learnable token, namely [rln]-token. Together with [obj]-tokens, [rln]-token exploits local and global semantic reasoning in an image through a series of mutual associations. In combination with the pair-wise [obj]-token, the [rln]-token contributes to a computationally efficient relation prediction. We achieve state-of-the-art performance on multiple, diverse and multi-domain datasets that demonstrate our approach's effectiveness and generalizability.

研究动机与目标

• 为解决两阶段图像到图生成流水线中物体检测与关系预测解耦所导致的误差传播和效率低下问题。
• 实现单一模型中物体及其关系的联合端到端学习，利用相互上下文和共现关系以提升推理能力。
• 提出一种新型可学习 [rln]-token，以捕捉物体之间的相互依赖关系，并增强关系预测的全局语义感知能力。
• 通过消除手工设计的特征和多阶段模块，简化训练与推理流程，提升效率与可扩展性。
• 在包括 2D/3D 结构图和语义场景图在内的多样化领域中，展示其泛化能力与有效性。

提出的方法

• 基于 DETR 提出一种统一的单阶段 Transformer 架构，使用可学习的 [obj]-tokens 进行物体检测，引入一种新型 [rln]-token 用于关系建模。
• 将 [rln]-token 视为可学习查询，通过多头自注意力机制关注物体对，捕捉全局语义与空间关系。
• 利用 [obj]-[rln]-[obj] 三元组进行成对关系预测，实现物体与其关系之间的联合表征学习。
• 采用基于集合的预测头与二分图匹配机制，实现无需非极大值抑制的端到端物体与关系输出预测。
• 通过 [rln]-token 与 [obj]-tokens 之间的多头交叉注意力机制，使所有物体能够关注到与关系相关的特征。
• 采用查询无关的检测头与可学习的 [rln]-token 联合端到端训练，使 [rln]-token 能够自适应输入图像上下文。

实验结果

研究问题

• RQ1 统一的单阶段 Transformer 框架是否能够联合预测图像到图生成中的物体及其关系，超越两阶段流水线？
• RQ2 引入可学习的 [rln]-token 如何改善物体共现与相互依赖关系的建模？
• RQ3 [rln]-token 对多样化图像到图生成任务中的关系预测性能有何影响？
• RQ4 [rln]-token 是否相比传统两阶段或基于特征的方法，展现出更好的泛化能力与效率？
• RQ5 训练数据规模如何影响 [rln]-token 在端到端图生成中的性能表现？

主要发现

• Relationformer 在道路网络、血管和场景图生成基准上均达到最先进性能，优于现有两阶段方法。
• 在 Visual Genome 数据集上，Relationformer 搭配 [rln]-token 与 MLP 头，mAP@100 达到 31.3%，较无 [rln]-token 的基线提升 2.9%。
• 在 3D 人工合成血管图生成任务中，Relationformer 搭配 [rln]-token 与 100% 训练数据，边缘检测的 mAR 达到 84.3%，较 def-DETR 基线提升 1.8%。
• 消融实验表明，[rln]-token 显著提升了关系预测性能，尤其在结合 MLP 头时更为明显，表明其在建模复杂语义关系中的关键作用。
• 模型展现出强大的泛化能力，随着训练数据规模增加，性能持续提升，表明其在更多数据下具有良好的可扩展性。
• 与两阶段流水线相比，该框架显著降低了模型复杂度与推理时间，同时使用更少参数与更低能耗。