[论文解读] Single-Stage Visual Relationship Learning using Conditional Queries

Alakh Desai, Tz-Ying Wu+2 more|arXiv (Cornell University)|Jun 9, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出TraCQ，一种单阶段视觉关系检测模型，通过条件查询解耦谓词与实体检测，降低模型复杂度并支持端到端训练。通过在非组合的谓词空间中学习并利用条件查询机制，TraCQ的参数量比当前最先进的一阶段模型减少20%，并在Visual Genome基准上超越许多两阶段方法，同时实现更快的推理速度。

ABSTRACT

Research in scene graph generation (SGG) usually considers two-stage models, that is, detecting a set of entities, followed by combining them and labeling all possible relationships. While showing promising results, the pipeline structure induces large parameter and computation overhead, and typically hinders end-to-end optimizations. To address this, recent research attempts to train single-stage models that are computationally efficient. With the advent of DETR, a set based detection model, one-stage models attempt to predict a set of subject-predicate-object triplets directly in a single shot. However, SGG is inherently a multi-task learning problem that requires modeling entity and predicate distributions simultaneously. In this paper, we propose Transformers with conditional queries for SGG, namely, TraCQ with a new formulation for SGG that avoids the multi-task learning problem and the combinatorial entity pair distribution. We employ a DETR-based encoder-decoder design and leverage conditional queries to significantly reduce the entity label space as well, which leads to 20% fewer parameters compared to state-of-the-art single-stage models. Experimental results show that TraCQ not only outperforms existing single-stage scene graph generation methods, it also beats many state-of-the-art two-stage methods on the Visual Genome dataset, yet is capable of end-to-end training and faster inference.

研究动机与目标

• 为解决依赖实体候选对全面配对的两阶段视觉关系检测模型在效率和复杂度方面的不足。
• 通过避免组合式实体对分布，减少现有单阶段模型的计算和参数开销。
• 通过条件查询解耦谓词与实体检测的学习过程，实现在单阶段SGG中端到端训练。
• 通过联合建模交互特征与谓词分类，同时最小化特征纠缠，提升性能。

提出的方法

• 提出一种新颖的单阶段场景图生成公式，通过条件查询解耦实体与谓词检测，避免多任务学习。
• 采用基于DETR的编码器-解码器架构，并引入谓词检测分支（H），联合学习交互特征（f_i）与谓词分类（f_p）。
• 利用条件查询将实体优化模块（C）的计算条件化在谓词预测上，减少有效实体标签空间，提升推理效率。
• 强制谓词分支预测松散的主体与对象边界框估计，确保谓词与实体学习之间的弱耦合。
• 为谓词学习采用非组合式分布空间，与标准单阶段方法相比显著降低模型参数量。
• 通过将实体优化结构化为依赖于谓词预测，实现端到端训练，避免对外部目标检测器的依赖。

实验结果

研究问题

• RQ1 单阶段视觉关系检测模型能否在保持端到端训练和更快推理的同时，超越两阶段方法？
• RQ2 在端到端SGG中，如何避免实体对组合的组合爆炸问题而不损失性能？
• RQ3 通过条件查询解耦谓词与实体检测，对模型效率与准确率有何影响？
• RQ4 与完全解耦的解码器相比，联合学习交互特征与谓词分类是否能提升性能？
• RQ5 在SGG模型中，减少预测分布空间在多大程度上能提升参数效率？

主要发现

• TraCQ在Visual Genome数据集上达到最先进性能，尽管是单阶段模型，仍超越许多现有两阶段方法。
• 由于谓词分支学习了非组合式分布空间，与最先进单阶段模型相比，参数量减少了20%。
• TraCQ支持端到端训练，且推理速度优于两阶段基线模型，得益于消除两阶段流水线和缩小的搜索空间。
• 条件查询机制有效缩小了实体标签空间，提升了推理效率，且未牺牲准确性。
• 谓词分支中联合学习交互特征与谓词分类，相比完全解耦的解码器，性能更优。
• 实证结果证实，所提出的公式显著提升了泛化能力，降低了模型复杂度，同时在视觉关系检测任务上保持了高准确率。