[论文解读] SyncDiffusion: Coherent Montage via Synchronized Joint Diffusions

Yuseung Lee, Kunho Kim+2 more|arXiv (Cornell University)|Jun 8, 2023

Advanced Vision and Imaging被引用 4

一句话总结

SyncDiffusion 提出了一种即插即用模块，通过在去噪预测上计算感知相似性损失，并利用梯度下降同步多个扩散过程，从而在全景图像生成中提升全局一致性。该方法在保持图像质量和提示对齐的同时，显著提高了连贯性（用户研究中达到66.35%），优于以往方法，且在无缝性和语义一致性方面超越了联合扩散方法。

ABSTRACT

The remarkable capabilities of pretrained image diffusion models have been utilized not only for generating fixed-size images but also for creating panoramas. However, naive stitching of multiple images often results in visible seams. Recent techniques have attempted to address this issue by performing joint diffusions in multiple windows and averaging latent features in overlapping regions. However, these approaches, which focus on seamless montage generation, often yield incoherent outputs by blending different scenes within a single image. To overcome this limitation, we propose SyncDiffusion, a plug-and-play module that synchronizes multiple diffusions through gradient descent from a perceptual similarity loss. Specifically, we compute the gradient of the perceptual loss using the predicted denoised images at each denoising step, providing meaningful guidance for achieving coherent montages. Our experimental results demonstrate that our method produces significantly more coherent outputs compared to previous methods (66.35% vs. 33.65% in our user study) while still maintaining fidelity (as assessed by GIQA) and compatibility with the input prompt (as measured by CLIP score). We further demonstrate the versatility of our method across three plug-and-play applications: layout-guided image generation, conditional image generation and 360-degree panorama generation. Our project page is at https://syncdiffusion.github.io.

研究动机与目标

• 解决使用联合扩散模型进行全景图像生成时缺乏全局一致性的挑战，此类方法常在拼接区域产生不一致的场景。
• 通过在重叠区域同步多个扩散过程，实现无缝且语义一致的蒙太奇效果。
• 提供一种零样本、即插即用的解决方案，兼容现有扩散模型与提示框架。
• 在提升生成全景图的结构与语义一致性的同时，保持高图像保真度与提示兼容性。
• 展示在布局引导生成、条件图像合成以及360度全景图创建等多种应用中的通用性。

提出的方法

• 在每个去噪步骤中，通过计算不同图像窗口的去噪预测之间的感知相似性损失，同步多个扩散过程。
• 利用梯度下降更新噪声潜在特征，基于感知损失引导反向扩散过程生成一致输出。
• 在预测的去噪图像上计算感知损失，而非噪声图像，从而实现通过反向传播的有效引导。
• 与现有联合扩散框架集成，通过在重叠区域平均潜在特征以保持局部无缝性。
• 利用预训练扩散模型（如 Stable Diffusion 2.0）而无需微调或重新训练，实现零样本部署。
• 支持多种感知损失（如 LPIPS、风格损失），并通过即插即用集成方式适用于多样化生成任务。

实验结果

研究问题

• RQ1 在去噪预测上计算的感知相似性损失是否能有效引导联合扩散，以提升全景生成的全局一致性？
• RQ2 基于梯度的多个扩散过程同步与仅使用特征平均相比，在保持语义一致性方面表现如何？
• RQ3 SyncDiffusion 在提升连贯性的同时，能在多大程度上保持图像质量和提示对齐？
• RQ4 SyncDiffusion 是否能有效应用于布局引导生成、条件生成和360度图像生成等多样化生成任务？
• RQ5 与基线联合扩散相比，同步模块引入的计算开销有多大？

主要发现

• 在用户研究中，SyncDiffusion 达到66.35%的连贯性，几乎是 MultiDiffusion 的两倍（33.65%），显著提升了全局一致性。
• 该方法保持了高图像质量，GIQA 得分为57.19%，表明具有出色的感知保真度。
• 提示兼容性提升至59.50%（CLIP 得分），相比先前方法更准确地对齐输入文本提示。
• 该方法在布局引导图像生成中有效提升了连贯性，生成了自然的背景，而非不连贯或错配的场景。
• 在使用 ControlNet 的条件图像生成中，SyncDiffusion 实现了保持输入条件（如 Canny 边缘图）的连贯多视角输出。
• 在360度全景图生成中，SyncDiffusion 生成的视角呈现出源自同一场景的连贯效果，而基线 MVDiffusion 则生成了分离或冲突的视角。