[论文解读] Position-Aware Contrastive Alignment for Referring Image Segmentation

Bo Chen, Zhiwei Hu+3 more|arXiv (Cornell University)|Dec 27, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了一种位置感知对比对齐网络（PCAN）用于指代图像分割，通过整合与语言相关的物体位置信息和对比学习，增强多模态特征对齐。通过利用GLIP生成的物体位置和双解码器对比模块，PCAN在不增加推理开销的情况下提升了分割精度，在三个基准数据集上超越了SOTA方法。

ABSTRACT

Referring image segmentation aims to segment the target object described by a given natural language expression. Typically, referring expressions contain complex relationships between the target and its surrounding objects. The main challenge of this task is to understand the visual and linguistic content simultaneously and to find the referred object accurately among all instances in the image. Currently, the most effective way to solve the above problem is to obtain aligned multi-modal features by computing the correlation between visual and linguistic feature modalities under the supervision of the ground-truth mask. However, existing paradigms have difficulty in thoroughly understanding visual and linguistic content due to the inability to perceive information directly about surrounding objects that refer to the target. This prevents them from learning aligned multi-modal features, which leads to inaccurate segmentation. To address this issue, we present a position-aware contrastive alignment network (PCAN) to enhance the alignment of multi-modal features by guiding the interaction between vision and language through prior position information. Our PCAN consists of two modules: 1) Position Aware Module (PAM), which provides position information of all objects related to natural language descriptions, and 2) Contrastive Language Understanding Module (CLUM), which enhances multi-modal alignment by comparing the features of the referred object with those of related objects. Extensive experiments on three benchmarks demonstrate our PCAN performs favorably against the state-of-the-art methods. Our code will be made publicly available.

研究动机与目标

• 为解决由于对视觉-语言关系及周围物体理解不足而导致的指代图像分割不准确问题。
• 通过引入与语言描述相关的物体位置先验知识，改善多模态特征对齐。
• 通过将对比学习知识迁移至匹配头，实现在保持高性能的同时降低推理成本。
• 在存在模糊或相似物体的复杂场景中，提升模型的泛化能力与鲁棒性。
• 开发一种方法，利用预训练的视觉-语言检测器获取更好的定位引导，而无需额外的检测头。

提出的方法

• 位置感知模块（PAM）利用GLIP提取与指代表达相关的高质量物体区域，提供先验位置信息。
• 对比语言理解模块（CLUM）采用两个权重共享的解码器：一个用于基于语言相关物体位置的对比学习，另一个用于使用随机查询的匹配任务。
• 在CLUM中，对比学习将鲁棒的特征表示从对比解码器迁移至匹配解码器，从而提升查询特征质量。
• 模型使用双分支交叉注意力机制对齐视觉与语言特征，位置感知查询作为引导。
• 对比损失应用于被指代物体与其相关但非目标物体之间，以提升判别力与对齐效果。
• 推理过程中仅使用匹配解码器，无需外部检测器，避免了额外计算开销。

实验结果

研究问题

• RQ1 在指代图像分割中，整合与语言相关的物体位置信息是否能改善多模态特征对齐？
• RQ2 基于位置感知特征的对比学习如何提升模型从相似干扰物中区分被指代物体的能力？
• RQ3 整合物体位置先验信息是否能在不增加推理复杂度的前提下提升分割性能？
• RQ4 对比学习模块中生成正样本与负样本的最优策略是什么？
• RQ5 物体提议数量与分组策略如何影响模型性能与泛化能力？

主要发现

• PCAN在三个标准基准数据集（RefCOCO、RefCOCO+ 和 Ref-YOLO）上达到SOTA性能，显著优于先前方法。
• 使用GLIP生成的框作为负样本相比随机负样本采样，性能提升0.61%，证明了相关物体先验的有效性。
• 条件负样本采样策略相比无条件采样提升性能0.47%，表明其对模型具有更优的引导作用。
• 当K=6个物体提议与G=3组时，模型达到最优性能，性能在该设置后趋于饱和。
• 消融实验表明，结合PAM与CLUM可获得最佳结果，显示位置感知与对比学习之间具有互补优势。
• 可视化结果表明，完整模型生成的分割掩码更准确且更具鲁棒性，尤其在存在相似物体的复杂场景中表现更优。