[论文解读] Referring Image Segmentation Using Text Supervision

Fang Liu, Yuhao Liu+6 more|arXiv (Cornell University)|Aug 28, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

本文提出了一种弱监督指代图像分割框架，仅使用指代文本描述进行训练，无需昂贵的像素级或框级标注。通过将定位任务建模为正样本（正确）与负样本（远距离）文本表达之间的文本分类任务，该方法采用双边提示、响应图校准以及正样本响应图选择，生成高质量伪标签，在四个基准测试上实现了与全监督方法相当的性能。

ABSTRACT

Existing Referring Image Segmentation (RIS) methods typically require expensive pixel-level or box-level annotations for supervision. In this paper, we observe that the referring texts used in RIS already provide sufficient information to localize the target object. Hence, we propose a novel weakly-supervised RIS framework to formulate the target localization problem as a classification process to differentiate between positive and negative text expressions. While the referring text expressions for an image are used as positive expressions, the referring text expressions from other images can be used as negative expressions for this image. Our framework has three main novelties. First, we propose a bilateral prompt method to facilitate the classification process, by harmonizing the domain discrepancy between visual and linguistic features. Second, we propose a calibration method to reduce noisy background information and improve the correctness of the response maps for target object localization. Third, we propose a positive response map selection strategy to generate high-quality pseudo-labels from the enhanced response maps, for training a segmentation network for RIS inference. For evaluation, we propose a new metric to measure localization accuracy. Experiments on four benchmarks show that our framework achieves promising performances to existing fully-supervised RIS methods while outperforming state-of-the-art weakly-supervised methods adapted from related areas. Code is available at https://github.com/fawnliu/TRIS.

研究动机与目标

• 通过消除对像素级或框级标注的需求，解决全监督指代图像分割（RIS）的高标注成本问题。
• 利用现有的指代文本描述作为唯一监督信号来训练RIS模型。
• 通过减少背景噪声并提升响应图质量，提高弱监督RIS中的定位精度。
• 开发一种新评估指标，相比标准指针游戏指标，减少框内误差。
• 证明仅使用文本表达作为监督信号，无需额外标注，即可实现高质量分割。

提出的方法

• 将RIS建模为二分类任务：区分描述目标对象的指代文本（正样本）与描述其他图像中对象的指代文本（负样本）。
• 引入双边提示方法，通过在两种模态流中应用提示，对齐视觉与语言特征，减少域差异。
• 提出一种校准方法，利用可学习注意力机制增强前景响应并抑制背景噪声，提升响应图质量。
• 设计正样本响应图选择（PRMS）策略，从描述同一对象的多个查询中选择最具判别性的响应图，生成高质量伪标签。
• 采用两阶段管道训练分割网络：首先生成响应图，然后优化分割预测结果。
• 采用一种新定位指标（PointM），通过测量预测响应点与真实响应点之间的距离，减少框内误差。

实验结果

研究问题

• RQ1 是否可以仅使用文本描述作为监督信号，无需任何额外标注，有效训练指代图像分割？
• RQ2 模型如何利用图像间文本比较来提升定位鲁棒性并减少误报？
• RQ3 响应图校准与正样本图选择在多大程度上能提升伪标签质量与下游分割性能？
• RQ4 与现有指针游戏指标相比，所提出的PointM指标为何能更准确评估定位精度？
• RQ5 在模型性能与泛化能力之间取得平衡时，负样本查询数量与校准参数的最优组合是什么？

主要发现

• 所提方法在四个RIS基准测试上实现了具有竞争力的性能——与最先进全监督方法相当甚至超越，且仅使用文本监督进行训练。
• 在RefCOCO+基准上，该方法实现了24.48%的IoU，相比无正样本响应图选择基线（22.31%）绝对提升2.17%。
• 正样本响应图选择（PRMS）策略在具有挑战性的RefCOCO+数据集上使IoU提升约10%，证明其在选择最优响应图方面的有效性。
• 当负样本查询数为48、校准模块中K=6时，模型性能最佳，表明过多负样本会导致类别不平衡，从而降低性能。
• 新提出的PointM指标相比标准指针游戏指标减少了框内误差，能更准确评估定位精度。
• 失败案例揭示了在处理语义相似的背景对象或遮挡目标时存在局限性，提示未来可通过结构化语言推理进一步改进。