[论文解读] X-Paste: Revisiting Scalable Copy-Paste for Instance Segmentation using CLIP and StableDiffusion

Hanqing Zhao, Dianmo Sheng+10 more|arXiv (Cornell University)|Dec 7, 2022

Advanced Neural Network Applications被引用 5

一句话总结

X-Paste 提出了一种用于实例分割的可扩展数据增强框架，利用 CLIP 实现零样本类别过滤，并通过 StableDiffusion 实现多样化物体实例的文本到图像生成。通过在四阶段流程（物体获取、掩码生成、过滤和组合）中结合这些模型，该方法在 LVIS 上实现了 +2.6 框 AP 和 +2.1 掩码 AP 的提升，在 COCO 上实现了 +1.6 框 AP 和 +1.1 掩码 AP 的提升（使用 Swin-L 主干网络），显著提升了长尾类别上的性能，且无需修改模型架构。

ABSTRACT

Copy-Paste is a simple and effective data augmentation strategy for instance segmentation. By randomly pasting object instances onto new background images, it creates new training data for free and significantly boosts the segmentation performance, especially for rare object categories. Although diverse, high-quality object instances used in Copy-Paste result in more performance gain, previous works utilize object instances either from human-annotated instance segmentation datasets or rendered from 3D object models, and both approaches are too expensive to scale up to obtain good diversity. In this paper, we revisit Copy-Paste at scale with the power of newly emerged zero-shot recognition models (e.g., CLIP) and text2image models (e.g., StableDiffusion). We demonstrate for the first time that using a text2image model to generate images or zero-shot recognition model to filter noisily crawled images for different object categories is a feasible way to make Copy-Paste truly scalable. To make such success happen, we design a data acquisition and processing framework, dubbed ``X-Paste", upon which a systematic study is conducted. On the LVIS dataset, X-Paste provides impressive improvements over the strong baseline CenterNet2 with Swin-L as the backbone. Specifically, it archives +2.6 box AP and +2.1 mask AP gains on all classes and even more significant gains with +6.8 box AP, +6.5 mask AP on long-tail classes. Our code and models are available at https://github.com/yoctta/XPaste.

研究动机与目标

• 为解决传统 Copy-Paste 增强方法因依赖昂贵的人工标注或 3D 渲染物体实例而带来的可扩展性限制。
• 通过利用零样本识别（CLIP）和文本到图像生成（StableDiffusion），实现开放词汇、可扩展的数据增强。
• 设计一个系统性框架，自动获取、掩码化、过滤并组合多样化的物体实例用于训练。
• 在不修改模型架构的前提下，提升实例分割性能，特别是长尾物体类别上的表现。

提出的方法

• 物体实例获取：使用文本提示与 StableDiffusion 生成跨无限类别的多样化、以物体为中心的图像。
• 实例掩码生成：应用与类别无关的显著性模型，从生成图像或网络爬取的图像中分割物体，利用其简洁性和以物体为中心的特性。
• 实例过滤：利用 CLIP 计算预测掩码与类别提示之间的相似度，剔除相似度低或分类错误的实例。
• 背景组合：将过滤后的掩码实例粘贴到多样化背景图像上，采用能保持真实感并避免遮挡伪影的策略。
• 该框架作为即插即用的增强方法集成，兼容现有实例分割模型（如 CenterNet2）。
• 采用混合数据获取策略，结合文本到图像生成与基于 CLIP 的网络爬取图像过滤，以最大化多样性与质量。

实验结果

研究问题

• RQ1 像 StableDiffusion 这类文本到图像扩散模型能否生成足够多样化且逼真的物体实例，以支持实例分割中的可扩展数据增强？
• RQ2 像 CLIP 这类零样本视觉模型能否有效过滤噪声较多的网络爬取图像，提取高质量、类别准确的实例用于训练？
• RQ3 当使用合成数据和过滤后的真实图像而非人工标注或 3D 渲染数据时，Copy-Paste 增强方法的性能如何扩展？
• RQ4 在不修改架构的前提下，X-Paste 能在多大程度上提升实例分割在长尾物体类别上的性能？
• RQ5 与最先进开放词汇检测方法相比，X-Paste 在准确率和数据效率方面表现如何？

主要发现

• 在 LVIS 数据集上，X-Paste 在强基线 CenterNet2（使用 Swin-L 主干）的基础上实现了 +2.6 框 AP 和 +2.1 掩码 AP 的提升，且在长尾类别上提升更为显著，达到 +6.8 框 AP 和 +6.5 掩码 AP。
• 在 COCO 上，使用 Swin-L 主干时，X-Paste 将基线性能提升了 +1.6 框 AP 和 +1.1 掩码 AP，表明在不同数据集和架构上均具有一致的增益。
• 该方法优于最先进开放词汇检测模型（如 ViLD、PromptDet 和 DetPro），在 LVIS 上实现了 35.7 框 AP 和 31.8 掩码 AP 的性能。
• 将 X-Paste 与标准 Copy-Paste 结合使用可进一步提升性能，在 COCO 上使用 Swin-L 时实现了 +1.6 框 AP 和 +1.1 掩码 AP 的增益，表明二者具有互补优势。
• 该框架在 COCO 上同样有效，该数据集具有高实例密度和长尾分布，表明其在不同数据分布下均具备鲁棒性。
• 消融研究证实，文本到图像生成和基于 CLIP 的过滤均对性能有显著贡献，二者结合可获得最佳结果。