[论文解读] RelViT: Concept-guided Vision Transformer for Visual Relational Reasoning

Xiaojian Ma, Weili Nie+6 more|arXiv (Cornell University)|Apr 24, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

该论文提出 RelViT，一种概念引导的视觉 Transformer 模型，通过引入概念-特征字典，实现概念引导的全局与局部辅助任务，从而增强视觉关系推理能力。该方法在 HICO 和 GQA 基准测试中显著提升性能，在原始划分上分别取得 16% 和 13% 的提升，在系统性泛化划分上分别提升 43% 和 18%。

ABSTRACT

Reasoning about visual relationships is central to how humans interpret the visual world. This task remains challenging for current deep learning algorithms since it requires addressing three key technical problems jointly: 1) identifying object entities and their properties, 2) inferring semantic relations between pairs of entities, and 3) generalizing to novel object-relation combinations, i.e., systematic generalization. In this work, we use vision transformers (ViTs) as our base model for visual reasoning and make better use of concepts defined as object entities and their relations to improve the reasoning ability of ViTs. Specifically, we introduce a novel concept-feature dictionary to allow flexible image feature retrieval at training time with concept keys. This dictionary enables two new concept-guided auxiliary tasks: 1) a global task for promoting relational reasoning, and 2) a local task for facilitating semantic object-centric correspondence learning. To examine the systematic generalization of visual reasoning models, we introduce systematic splits for the standard HICO and GQA benchmarks. We show the resulting model, Concept-guided Vision Transformer (or RelViT for short) significantly outperforms prior approaches on HICO and GQA by 16% and 13% in the original split, and by 43% and 18% in the systematic split. Our ablation analyses also reveal our model's compatibility with multiple ViT variants and robustness to hyper-parameters.

研究动机与目标

• 解决真实世界数据集上视觉关系推理中的系统性泛化挑战。
• 通过利用概念（物体与关系）作为归纳偏置，提升视觉 Transformer 的性能。
• 在不修改网络架构的前提下，实现更优的以物体为中心和关系化的表征学习。
• 开发一种即插即用的框架，兼容现有 ViT 训练流程，以提升推理能力。
• 通过 HICO 和 GQA 的新型系统性划分，评估在新型物体-关系组合上的泛化能力。

提出的方法

• 引入一个概念-特征字典，其中键为概念（如物体标签），值为共享该概念的图像特征队列。
• 利用该字典在训练过程中实现灵活、基于概念的图像特征检索。
• 设计一个全局概念引导任务，用于将具有相同概念的图像聚类，促进语义一致的关系表征。
• 设计一个局部概念引导任务，用于学习同一概念在不同图像之间的语义对应关系，增强以物体为中心的学习。
• 通过指数移动平均（EMA）更新特征队列，将两种辅助任务整合进 ViT 训练流程。
• 将该方法应用于标准 ViT 主干网络，无需修改网络架构，实现即插即用的部署。

实验结果

研究问题

• RQ1 概念引导的辅助任务是否能提升视觉 Transformer 中的视觉关系推理能力？
• RQ2 概念-特征字典如何实现更优的特征检索与表征学习？
• RQ3 所提方法在真实世界视觉推理基准测试中的系统性泛化能力提升程度如何？
• RQ4 在不同 ViT 变体上，RelViT 与先前方法相比在性能与鲁棒性方面表现如何？
• RQ5 该方法是否可在不修改架构的前提下，有效应用于 HICO 和 GQA 等标准基准？

主要发现

• 在原始 HICO 基准划分上，RelViT 相比最佳基线模型实现 16% 的绝对性能提升。
• 在 HICO 的新型系统性泛化划分上，RelViT 相比最佳基线模型性能提升 43%。
• 在原始 GQA 基准划分上，RelViT 相比最佳基线模型实现 13% 的性能提升。
• 在 GQA 的系统性泛化划分上，RelViT 相比最佳基线模型性能提升 18%。
• 消融实验表明，全局与局部辅助任务均对性能提升有显著贡献。
• 该方法在多种 ViT 变体上表现出强兼容性，并对超参数设置具有鲁棒性。