[论文解读] Object-Centric Slot Diffusion

Jindong Jiang, Feiqi Deng+2 more|arXiv (Cornell University)|Mar 20, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出了潜在槽扩散模型（LSD），这是首个将传统槽解码器替换为条件潜在扩散模型的对象中心学习模型，实现了无需文本监督的无监督组合图像生成。LSD 显著优于最先进基于 Transformer 的解码器，尤其在复杂场景中表现优异，并实现了新型应用，如在 FFHQ 数据集上生成高保真人脸图像以及无监督的概念驱动图像编辑。

ABSTRACT

The recent success of transformer-based image generative models in object-centric learning highlights the importance of powerful image generators for handling complex scenes. However, despite the high expressiveness of diffusion models in image generation, their integration into object-centric learning remains largely unexplored in this domain. In this paper, we explore the feasibility and potential of integrating diffusion models into object-centric learning and investigate the pros and cons of this approach. We introduce Latent Slot Diffusion (LSD), a novel model that serves dual purposes: it is the first object-centric learning model to replace conventional slot decoders with a latent diffusion model conditioned on object slots, and it is also the first unsupervised compositional conditional diffusion model that operates without the need for supervised annotations like text. Through experiments on various object-centric tasks, including the first application of the FFHQ dataset in this field, we demonstrate that LSD significantly outperforms state-of-the-art transformer-based decoders, particularly in more complex scenes, and exhibits superior unsupervised compositional generation quality. In addition, we conduct a preliminary investigation into the integration of pre-trained diffusion models in LSD and demonstrate its effectiveness in real-world image segmentation and generation. Project page is available at https://latentslotdiffusion.github.io

研究动机与目标

• 探索将扩散模型整合到对象中心学习中的可行性，该领域目前仍基本未被探索。
• 开发一种模型，用强大且条件化的扩散生成器替代传统槽解码器，以提升复杂场景中的图像生成质量。
• 通过从学习到的对象中心槽构建视觉提示，实现无监督的组合式条件图像生成，从而无需依赖文本注释。
• 在多样化任务中评估 LSD 的性能，包括无监督分割、属性预测以及图像编辑，尤其在高分辨率数据集（如 FFHQ）上的表现。
• 研究预训练自编码器与扩散模型的集成，以提升真实世界图像生成与分割的性能。

提出的方法

• LSD 使用槽注意力机制从输入图像中提取对象中心槽，这些槽作为潜在扩散模型的条件输入。
• 该模型采用去噪 U-Net 架构，训练目标是逆转应用于图像潜在表示的噪声调度，条件基于对象槽。
• 图像潜在表示通过预训练自编码器获得，训练期间添加噪声以实现去噪学习。
• 通过组合来自不同图像的槽实现组合式生成，利用 k-均值聚类从提取的槽中构建视觉概念库。
• 基于槽的编辑通过在图像解码过程中选择性地包含或排除特定槽来实现，分割掩码则从注意力权重中提取。
• 该框架通过将对象槽视为视觉提示，支持无监督条件生成，从而避免对文本注释的依赖。

实验结果

研究问题

• RQ1 扩散模型能否有效整合到对象中心学习中，以提升复杂场景下的图像生成性能？
• RQ2 用潜在扩散模型替代传统槽解码器，是否能相比自回归 Transformer 模型实现更优的无监督组合式生成？
• RQ3 LSD 是否能仅使用视觉槽作为条件，无需任何监督标注（如文本描述），生成高保真图像？
• RQ4 LSD 在高分辨率、复杂的数据集（如 FFHQ）上的表现如何，这些数据集曾使先前的对象中心模型难以应对？
• RQ5 LSD 在简单场景中的局限性是什么，以及如何缓解这些问题？

主要发现

• LSD 在图像重建与生成方面显著优于最先进基于 Transformer 的解码器，尤其在复杂场景和高分辨率数据集（如 FFHQ）中表现突出。
• 该模型首次将 FFHQ 数据集应用于对象中心学习，成功生成高保真、细节丰富的面部图像，并实现属性的解耦。
• LSD 实现了更优的无监督组合式生成质量，能够通过组合不同图像的槽实现连贯的图像合成，同时保持属性一致性。
• 使用预训练自编码器可提升图像的清晰度与细节保真度，但与较弱的解码器结合时，可能在形状和纹理上引入伪影。
• 基于槽的编辑（如人脸替换或背景替换）在分割准确时表现良好，但当物体被分割到多个槽中时性能会下降。
• LSD 在极简场景（如 CLEVRTex）中表现出过拟合问题，表明高容量解码器可能不适用于结构复杂度极低的场景。