[论文解读] PolyFormer: Referring Image Segmentation as Sequential Polygon Generation

Jiang Liu, Hui Ding+5 more|arXiv (Cornell University)|Feb 14, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

PolyFormer 将指代图像分割建模为使用新型序列到序列 Transformer 框架的顺序多边形生成，通过回归直接预测连续的 2D 坐标，避免量化误差。其在 RefCOCO+ 和 RefCOCOg 上分别实现了 5.40% 和 4.52% 的绝对 mIoU 提升，达到最先进性能，并且在无需微调的情况下对指代视频分割任务也展现出良好的泛化能力。

ABSTRACT

In this work, instead of directly predicting the pixel-level segmentation masks, the problem of referring image segmentation is formulated as sequential polygon generation, and the predicted polygons can be later converted into segmentation masks. This is enabled by a new sequence-to-sequence framework, Polygon Transformer (PolyFormer), which takes a sequence of image patches and text query tokens as input, and outputs a sequence of polygon vertices autoregressively. For more accurate geometric localization, we propose a regression-based decoder, which predicts the precise floating-point coordinates directly, without any coordinate quantization error. In the experiments, PolyFormer outperforms the prior art by a clear margin, e.g., 5.40% and 4.52% absolute improvements on the challenging RefCOCO+ and RefCOCOg datasets. It also shows strong generalization ability when evaluated on the referring video segmentation task without fine-tuning, e.g., achieving competitive 61.5% J&F on the Ref-DAVIS17 dataset.

研究动机与目标

• 通过将物体边界建模为结构化的多边形序列，解决像素级分割在指代图像分割中的局限性。
• 通过用连续回归替代离散坐标量化来提升几何定位精度，实现顶点预测。
• 在统一的序列到序列框架下，联合处理指代图像分割与指代表达理解任务。
• 在无需微调的情况下，实现对基于视频的指代分割任务的零样本泛化。
• 设计一种灵活的多模态序列建模框架，自然融合视觉与文本特征，用于结构化输出生成。

提出的方法

• PolyFormer 采用序列到序列 Transformer 架构，以图像块标记和文本查询标记的拼接序列作为输入。
• 模型自回归地生成多边形顶点序列，每个预测均基于所有先前顶点，以保持空间结构。
• 基于回归的解码器通过索引嵌入上的双线性插值预测精确的浮点坐标，消除了离散分箱带来的量化误差。
• 通过联合预测多边形和边界框，支持多任务学习，使用分隔符标记处理多边形实例。
• 多边形顶点按顺时针顺序排列，从距离图像原点最近的点开始，以确保序列构建的一致性与语义性。
• 训练过程中应用数据增强，生成不同粒度的多边形，提升模型鲁棒性与泛化能力。

Figure 1 : The illustration of PolyFormer pipeline for referring image segmentation (polygon vertex sequence) and referring expression comprehension (bounding box corner points). The polygons are converted to segmentation masks in the end.

实验结果

研究问题

• RQ1 指代图像分割能否被有效重构为顺序多边形生成，而非密集的像素级预测？
• RQ2 在几何定位任务中，基于回归的解码器是否优于基于分类的方法？
• RQ3 统一的序列到序列框架能否通过共享多模态特征，联合处理指代图像分割与指代表达理解？
• RQ4 所提出的框架在无需微调的情况下，对零样本指代视频分割任务的泛化能力如何？
• RQ5 多边形排序、数据增强和多任务学习等设计选择对多边形生成性能有何影响？

主要发现

• PolyFormer 在 RefCOCO 上达到 76.94% 的 mIoU，在 RefCOCO+ 上为 72.15%，在 RefCOCOg 上为 71.15%，分别实现 2.48%、5.40% 和 4.52% 的绝对提升，创下新的最先进结果。
• 基于回归的解码器在 RefCOCO+ 上的 RIS 和 REC 任务中，分别较基于分类的基线模型提升 +1.86 和 +2.38 mIoU，证明其在定位精度上的优越性。
• 在无需微调的情况下，模型在 Ref-DAVIS17 上实现 61.5% 的 J&F，展现出强大的零样本泛化能力。
• 多边形排序至关重要，相比随机排序，mIoU 提升 12.43%；数据增强和多任务学习分别贡献 3.72% 和 3.07% 的显著增益。
• 添加用于多边形处理的 <SEP> 标记带来 0.82% 的 mIoU 提升，表明其虽在多边形实例中出现频率较低，但具有实际效用。
• 可视化结果显示，交叉注意力图集中关注被指代对象，并在多边形生成过程中动态追踪其边界，证实注意力机制与语义意图对齐。

Figure 2 : Overview of our PolyFormer architecture. The model takes an image and its corresponding language expression as input, and outputs the floating-point 2D coordinates of the bounding box and polygons in an autoregressive way.