[论文解读] Unleashing Text-to-Image Diffusion Models for Visual Perception

Wenliang Zhao, Yongming Rao+4 more|arXiv (Cornell University)|Mar 3, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出VPD框架，通过利用其丰富的视觉-语言知识，将预训练的文本到图像扩散模型重新用于视觉感知任务。与使用完整扩散去噪流水线不同，VPD采用去噪UNet作为主干网络，通过文本提示输入，利用适配器模块优化文本特征，并利用交叉注意力图实现显式引导，从而在语义分割、指代图像分割（73.3% oIoU）和深度估计（0.254 RMSE）任务上取得最先进性能。

ABSTRACT

Diffusion models (DMs) have become the new trend of generative models and have demonstrated a powerful ability of conditional synthesis. Among those, text-to-image diffusion models pre-trained on large-scale image-text pairs are highly controllable by customizable prompts. Unlike the unconditional generative models that focus on low-level attributes and details, text-to-image diffusion models contain more high-level knowledge thanks to the vision-language pre-training. In this paper, we propose VPD (Visual Perception with a pre-trained Diffusion model), a new framework that exploits the semantic information of a pre-trained text-to-image diffusion model in visual perception tasks. Instead of using the pre-trained denoising autoencoder in a diffusion-based pipeline, we simply use it as a backbone and aim to study how to take full advantage of the learned knowledge. Specifically, we prompt the denoising decoder with proper textual inputs and refine the text features with an adapter, leading to a better alignment to the pre-trained stage and making the visual contents interact with the text prompts. We also propose to utilize the cross-attention maps between the visual features and the text features to provide explicit guidance. Compared with other pre-training methods, we show that vision-language pre-trained diffusion models can be faster adapted to downstream visual perception tasks using the proposed VPD. Extensive experiments on semantic segmentation, referring image segmentation and depth estimation demonstrates the effectiveness of our method. Notably, VPD attains 0.254 RMSE on NYUv2 depth estimation and 73.3% oIoU on RefCOCO-val referring image segmentation, establishing new records on these two benchmarks. Code is available at https://github.com/wl-zhao/VPD

研究动机与目标

• 探究大规模文本到图像扩散模型（在图像-文本对上预训练）是否可被用于下游视觉感知任务。
• 解决将为图像生成设计的扩散模型知识迁移至需要语义理解的感知任务的挑战。
• 克服扩散模型与传统视觉感知框架之间的架构和流水线不兼容性问题。
• 通过显式使用文本提示和交叉注意力图引导，提升感知任务中的视觉-语言对齐。
• 证明视觉-语言预训练的扩散模型可实现比传统预训练方法更快、更有效的感知任务适应。

提出的方法

• 将预训练的文本到图像扩散模型（如Stable Diffusion）中的去噪UNet作为自然图像的特征主干网络，绕过完整扩散过程。
• 提出一种文本提示工程策略，通过输入图像的自然语言描述引导去噪过程，以激发语义丰富的特征。
• 采用可学习的适配器模块优化文本嵌入，提升其与UNet提取的视觉特征之间的对齐。
• 利用视觉特征与文本特征之间的交叉注意力图作为下游任务的显式引导信号。
• 融合UNet解码器多个层级的特征，并结合上采样和下采样模块的交叉注意力图，以增强表征能力。
• 提出一种单步去噪推理设置，可直接接收输入图像并输出用于感知头的语义特征。

实验结果

研究问题

• RQ1 能否有效将为图像生成优化的预训练文本到图像扩散模型重新用于语义分割和深度估计等视觉感知任务？
• RQ2 如何提取并对齐视觉-语言预训练扩散模型中编码的高层语义知识，以匹配视觉输入用于感知任务？
• RQ3 文本提示与视觉特征之间的交叉注意力图在提升感知基准性能方面发挥何种作用？
• RQ4 所提出框架的性能是否随底层扩散模型预训练深度的增加而提升？
• RQ5 与传统视觉预训练范式相比，该方法是否能实现更快收敛和更高精度？

主要发现

• VPD在RefCOCO+val指代图像分割基准上取得73.3% oIoU的新最先进结果。
• VPD在NYUv2数据集上实现0.254 RMSE的新最先进性能，显著优于先前方法。
• 在ADE20K语义分割任务上，该方法表现出更快收敛速度和更优性能，优于其他预训练基线。
• 随着底层扩散模型预训练迭代次数的增加，性能持续提升，mIoU@8K从SD-1-1到SD-1-5提升超过4个百分点。
• 上采样和下采样模块的交叉注意力图均带来正向贡献，其平均值表现最佳。
• VPD的成功主要归因于扩散模型中的视觉-语言知识，而非模型容量本身，这一点通过预训练深度增加时的性能提升趋势得到验证。