[论文解读] Shifting More Attention to Visual Backbone: Query-modulated Refinement Networks for End-to-End Visual Grounding

Jiabo Ye, Junfeng Tian+6 more|arXiv (Cornell University)|Mar 29, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

本文提出查询调制精炼网络（QRNet），一种新颖的框架，通过查询感知的动态注意力（QD-ATT）对视觉特征进行精炼，从而提升视觉定位性能。该方法根据输入查询自适应地调整空间和通道维度的特征。QRNet在五个基准测试中超越了当前最先进方法，在ReferItGame-test和Flickr30k-test上分别取得74.61%和81.95%的准确率，通过查询引导的视觉特征精炼有效提升了跨模态对齐性能。

ABSTRACT

Visual grounding focuses on establishing fine-grained alignment between vision and natural language, which has essential applications in multimodal reasoning systems. Existing methods use pre-trained query-agnostic visual backbones to extract visual feature maps independently without considering the query information. We argue that the visual features extracted from the visual backbones and the features really needed for multimodal reasoning are inconsistent. One reason is that there are differences between pre-training tasks and visual grounding. Moreover, since the backbones are query-agnostic, it is difficult to completely avoid the inconsistency issue by training the visual backbone end-to-end in the visual grounding framework. In this paper, we propose a Query-modulated Refinement Network (QRNet) to address the inconsistent issue by adjusting intermediate features in the visual backbone with a novel Query-aware Dynamic Attention (QD-ATT) mechanism and query-aware multiscale fusion. The QD-ATT can dynamically compute query-dependent visual attention at the spatial and channel levels of the feature maps produced by the visual backbone. We apply the QRNet to an end-to-end visual grounding framework. Extensive experiments show that the proposed method outperforms state-of-the-art methods on five widely used datasets.

研究动机与目标

• 为解决预训练的、与查询无关的视觉主干网络与视觉定位任务所需特定视觉特征之间的不一致性问题。
• 通过基于查询上下文的视觉特征精炼，改善自然语言查询与图像区域之间的跨模态对齐。
• 开发一种轻量级、端到端可训练的模块，在不修改主干网络架构的前提下提升视觉特征质量。
• 在标准基准测试和真实世界在线应用中验证查询调制特征精炼的有效性。

提出的方法

• 提出一种基于Swin-Transformer主干网络的查询调制精炼网络（QRNet），并集成了一种新颖的查询感知动态注意力（QD-ATT）机制。
• QD-ATT从查询嵌入中动态计算与查询相关的空间和通道注意力图，并在多个阶段对视觉特征图进行精炼。
• 注意力图通过查询-查询交互计算，并通过逐元素相乘操作应用，以重新加权视觉特征，增强与查询相关区域的响应。
• 在每个阶段应用QD-ATT，增强了多尺度特征融合，实现了跨尺度的查询一致性特征聚合。
• QRNet被集成到端到端的视觉定位框架中，用查询精炼后的特征替代标准特征提取过程。
• 模型采用标准检测头进行端到端训练，并使用标准视觉定位损失函数进行优化。

实验结果

研究问题

• RQ1 通过减少预训练视觉特征与查询特定需求之间的不一致性，查询感知特征精炼是否能够提升视觉定位性能？
• RQ2 与标准注意力机制相比，查询调制注意力在多模态对齐中精炼视觉特征时表现如何？
• RQ3 在视觉主干网络的不同阶段应用QD-ATT，其性能提升程度如何？
• RQ4 所提出的精炼机制是否在多样化的视觉定位基准测试和真实世界部署场景中具有泛化能力？

主要发现

• QRNet在ReferItGame-test和Flickr30k-test上分别取得74.61%和81.95%的性能表现，超越了当前最先进方法。
• 消融实验表明，在特征提取阶段禁用QD-ATT会使ReferItGame-test性能下降3.75%，证明其关键作用。
• QD-ATT中的空间注意力和通道注意力均有效，其中空间注意力可过滤无关区域，通道注意力则根据查询上下文重新分配特征重要性。
• 当在多尺度融合中禁用QD-ATT时，ReferItGame-test性能下降2.52%，表明其在特征聚合中的重要性。
• 在在线A/B测试中，QRNet将无点击率降低了1.47%，并使电商平台搜索系统中的交易量提升了2.20%。
• 定性结果表明，QRNet生成的激活图更具查询一致性，与基线模型相比，对无关图像区域的注意力显著减少。