[论文解读] Peekaboo: Text to Image Diffusion Models are Zero-Shot Segmentors

Ryan Burgert, Kanchana Ranasinghe+2 more|arXiv (Cornell University)|Nov 23, 2022

Multimodal Machine Learning Applications被引用 12

一句话总结

本文提出 Peekaboo，一种新颖的零样本、开放词汇、无监督方法，无需微调即可利用预训练的文本到图像扩散模型——特别是 Stable Diffusion——实现语义分割和指代分割。通过在推理阶段应用基于新型 alpha 合成损失的优化，Peekaboo 从自然语言提示生成精确的分割掩码，在 Pascal VOC-C 和 RefCOCO 上取得具有竞争力的结果，并首次实现仅使用 RGB 数据训练的扩散模型端到端生成带透明度的 RGBA 图像。

ABSTRACT

Recently, text-to-image diffusion models have shown remarkable capabilities in creating realistic images from natural language prompts. However, few works have explored using these models for semantic localization or grounding. In this work, we explore how an off-the-shelf text-to-image diffusion model, trained without exposure to localization information, can ground various semantic phrases without segmentation-specific re-training. We introduce an inference time optimization process capable of generating segmentation masks conditioned on natural language prompts. Our proposal, Peekaboo, is a first-of-its-kind zero-shot, open-vocabulary, unsupervised semantic grounding technique leveraging diffusion models without any training. We evaluate Peekaboo on the Pascal VOC dataset for unsupervised semantic segmentation and the RefCOCO dataset for referring segmentation, showing results competitive with promising results. We also demonstrate how Peekaboo can be used to generate images with transparency, even though the underlying diffusion model was only trained on RGB images - which to our knowledge we are the first to attempt. Please see our project page, including our code: https://ryanndagreat.github.io/peekaboo

研究动机与目标

• 探索预训练的文本到图像扩散模型是否内在编码了语义短语的空间定位信息。
• 开发一种无需分割特定微调或标注的零样本、开放词汇、无监督分割方法。
• 证明扩散模型可用于复杂自然语言提示的像素级定位。
• 实现仅使用 RGB 图像训练的模型端到端生成带透明度的 RGBA 图像。

提出的方法

• Peekaboo 对预训练的 Stable Diffusion 模型进行推理阶段优化，从文本提示生成分割掩码。
• 提出一种新型基于 alpha 合成的损失函数，以改善优化过程中 alpha 掩码的学习。
• 该方法优化一个可微分的 alpha 掩码，将其与固定背景图像进行合成，生成合成图像。
• 使用评分蒸馏损失（Score Distillation Loss, SDL）作为文本提示与生成图像区域之间的跨模态相似性目标。
• 优化过程迭代更新 alpha 掩码，以最大化文本提示与生成图像之间的对齐度。
• 该方法同时应用于真实图像（用于分割）和合成图像合成（用于透明图像生成）。

实验结果

研究问题

• RQ1 像 Stable Diffusion 这类预训练的文本到图像扩散模型是否可以在无需任何微调的情况下，用于零样本语义和指代分割？
• RQ2 扩散模型的内部表征是否包含自然语言短语的隐式空间定位信息？
• RQ3 能否通过优化，利用仅在 RGB 图像上训练的扩散模型生成带透明度的图像（RGBA）？
• RQ4 所提出的基于 alpha 合成的损失与基于 CLIP 的损失在分割性能上相比如何？
• RQ5 提示复杂度和物体位置（例如中心 vs. 边缘）对分割准确率有何影响？

主要发现

• Peekaboo 在 RefCOCO 指代分割基准和修改后的 Pascal VOC-C 无监督语义分割基准上均取得具有竞争力的性能，且无需任何模型微调。
• 该方法能够以高空间精度分割复杂复合短语，例如 '一个戴眼镜的秃头男子，身穿白衬衫和黑色长裤'。
• Peekaboo 展现出强大的形状先验，即使在物体部分被遮挡或原始图像中不可见时，也能正确分割物体。
• 该模型能够通过端到端优化生成逼真的带透明度的 RGBA 图像，这是仅在 RGB 数据上训练的扩散模型首次实现此类结果。
• 基于 alpha 合成的损失在分割质量与收敛速度上均优于以往基于 CLIP 的优化方法。
• 对于位于图像中心的物体，分割性能最高，表明模型内部定位行为存在一定的偏差。