[论文解读] Vision-Language Transformer and Query Generation for Referring Segmentation

Henghui Ding, Chang Liu+2 more|arXiv (Cornell University)|Aug 12, 2021

Multimodal Machine Learning Applications参考文献 30被引用 16

一句话总结

本文提出一种带有查询生成与平衡模块的视觉-语言Transformer（VLT），用于指代分割任务，将该任务重新表述为基于注意力的图像查询问题。通过生成受视觉特征引导的多种多样化语言查询，并自适应地融合其响应，该模型在RefCOCO、RefCOCO+和G-Ref数据集上均实现了最先进性能，且无需复杂组件。

ABSTRACT

In this work, we address the challenging task of referring segmentation. The query expression in referring segmentation typically indicates the target object by describing its relationship with others. Therefore, to find the target one among all instances in the image, the model must have a holistic understanding of the whole image. To achieve this, we reformulate referring segmentation as a direct attention problem: finding the region in the image where the query language expression is most attended to. We introduce transformer and multi-head attention to build a network with an encoder-decoder attention mechanism architecture that "queries" the given image with the language expression. Furthermore, we propose a Query Generation Module, which produces multiple sets of queries with different attention weights that represent the diversified comprehensions of the language expression from different aspects. At the same time, to find the best way from these diversified comprehensions based on visual clues, we further propose a Query Balance Module to adaptively select the output features of these queries for a better mask generation. Without bells and whistles, our approach is light-weight and achieves new state-of-the-art performance consistently on three referring segmentation datasets, RefCOCO, RefCOCO+, and G-Ref. Our code is available at https://github.com/henghuiding/Vision-Language-Transformer.

研究动机与目标

• 为解决指代分割中对图像与语言进行整体理解的挑战，其中目标物体通过关系描述进行识别。
• 克服卷积网络在视觉-语言任务中建模长距离依赖与全局上下文的局限性。
• 通过生成对查询的多种多样化语言理解，提升对模糊或复杂指代表达的鲁棒性。
• 利用视觉线索自适应融合多个查询响应，确保最相关的理解被突出强调。

提出的方法

• 将指代分割重新表述为直接的注意力问题，其中语言表达作为查询，用于关注图像中相关区域。
• 采用基于Transformer的编码器-解码器架构，结合多头自注意力与跨模态注意力，以建模视觉与语言特征之间的全局交互。
• 引入查询生成模块（QGM），从语言特征生成N个查询向量，每个向量代表对指代表达的一种不同理解，且受视觉信息引导。
• 使用查询平衡模块，基于其与图像的相关性，自适应地加权并融合多个查询的特征，从而提升响应质量。
• 在训练过程中使用可学习的查询向量，初始值均匀分布，并与网络其余部分联合优化。
• 利用视觉引导的注意力机制，动态生成反映语言表达在上下文中不同方面的查询向量。

实验结果

研究问题

• RQ1 视觉-语言模型如何更好地捕捉指代分割中的全局上下文与长距离依赖？
• RQ2 如何生成并利用对指代表达的多种多样化理解，以提升分割精度？
• RQ3 自适应融合多个查询响应是否能带来优于单查询或固定查询方法的掩码预测性能？
• RQ4 该模型在涉及多个属性或关系的长句或复杂指代表达上表现如何？

主要发现

• 所提出的VLT模型在RefCOCO、RefCOCO+和G-Ref数据集上均达到新的最先进性能，在RefCOCO上实现1%的IoU提升，在更具挑战性的RefCOCO+测试B集上实现5%的提升。
• 在G-Ref数据集上，面对更长的描述，模型的IoU比之前方法高出2%-5%，表明其在复杂与长句描述上的有效性。
• 使用16个查询向量时性能最佳，IoU从1个查询到16个查询提升了5%，表明多种多样化查询显著增强了建模能力。
• 移除查询平衡模块后性能下降约1%，证实其在选择最相关查询响应方面的有效性。
• 可视化结果表明，Transformer能够关注远距离的图像区域，证实其在单层内建模长距离依赖的能力。
• 查询生成模块生成的多样化查询向量能够从不同角度理解语言表达，这一点由特征空间中不同的注意力模式得到验证。