[论文解读] Pixel-wise Conditioned Generative Adversarial Networks for Image Synthesis and Completion

Cyprien Ruffino, Romain Hérault+2 more|arXiv (Cornell University)|Feb 4, 2020

Generative Adversarial Networks and Image Synthesis参考文献 44被引用 9

一句话总结

本文提出一种逐像素条件生成对抗网络（GAN），通过在 GAN 目标函数中添加 L2 重建损失，强制对稀疏、随机分布的输入像素实现精确重建。该方法在保持高图像质量和多样性的同时，相较于标准条件 GAN（CGAN），显著提升了约束满足度，在 FashionMNIST、CIFAR-10、CelebA 以及使用 PacGAN 正则化的地质模拟任务中均得到验证。

ABSTRACT

Generative Adversarial Networks (GANs) have proven successful for unsupervised image generation. Several works have extended GANs to image inpainting by conditioning the generation with parts of the image to be reconstructed. Despite their success, these methods have limitations in settings where only a small subset of the image pixels is known beforehand. In this paper we investigate the effectiveness of conditioning GANs when very few pixel values are provided. We propose a modelling framework which results in adding an explicit cost term to the GAN objective function to enforce pixel-wise conditioning. We investigate the influence of this regularization term on the quality of the generated images and the fulfillment of the given pixel constraints. Using the recent PacGAN technique, we ensure that we keep diversity in the generated samples. Conducted experiments on FashionMNIST show that the regularization term effectively controls the trade-off between quality of the generated images and the conditioning. Experimental evaluation on the CIFAR-10 and CelebA datasets evidences that our method achieves accurate results both visually and quantitatively in term of Fr\\'echet Inception Distance, while still enforcing the pixel conditioning. We also evaluate our method on a texture image generation task using fully-convolutional networks. As a final contribution, we apply the method to a classical geological simulation application.

研究动机与目标

• 解决仅预先知晓少量像素值时的图像生成问题，该场景下标准 GAN 和 CGAN 表现不佳。
• 通过显式建模逐像素条件的重建损失，提升图像生成中的约束满足度。
• 在强条件约束下仍保持生成样本的高多样性，避免模式崩溃。
• 在包括真实世界地质模拟任务在内的多样化数据集上评估该方法。
• 证明所提出的正则化方法能有效控制图像质量与约束保真度之间的权衡。

提出的方法

• 提出一种改进的 GAN 目标函数，结合对抗损失与已知像素的 L2 重建损失，后者作为正则化项。
• 在高斯假设下，通过最大化给定生成图像时已知像素的对数似然，建模条件分布。
• 采用 PacGAN 技术以保持生成样本的多样性，尤其在潜在码映射到相同输出时尤为重要。
• 使用全卷积神经网络（如 UNetResPAC）将方法扩展至高分辨率图像与复杂纹理。
• 将该框架应用于标准图像数据集（CIFAR-10、CelebA）以及具有空间模式约束的真实地质模拟任务。
• 使用随机梯度下降优化联合目标函数，其中超参数 λ 控制对抗损失与重建损失之间的权衡。

实验结果

研究问题

• RQ1 能否在仅基于少量零散像素值的条件下，有效控制 GAN 的生成质量，同时保持高图像质量？
• RQ2 添加逐像素重建损失如何影响图像保真度与约束满足度之间的平衡？
• RQ3 在稀疏、非局部化的像素约束条件下，该方法是否能保持生成样本的多样性？
• RQ4 该方法能否推广至复杂的真实世界应用，如具有空间模式一致性的地质图像模拟？
• RQ5 正则化超参数 λ 如何影响视觉质量与约束准确性之间的权衡？

主要发现

• 在 FashionMNIST 上，通过正则化参数 λ 成功控制了图像质量与约束满足度之间的权衡。
• 在 CIFAR-10 上，所提方法的 Fréchet Inception Distance（FID）为 3.120，MSE 为 0.010，约束准确性（MSE：0.081）优于 CGAN，同时在 FID 上保持竞争力。
• 在 CelebA 上，该方法的 MSE 为 0.0053（对比 CGAN 的 0.0209），FID 为 2.09e-4（对比 CGAN 的 1.34e-4），表明其在约束满足度方面表现更优。
• 在地下地质数据集上，该方法实现了低 MSE（0.0325）与 HOG 距离（4.31e-4），表明其在保持视觉质量的同时具有出色的约束合规性。
• PacGAN 的使用有效防止了模式崩溃，即使潜在码发生微小变化，也能确保生成样本的多样性。
• 视觉评估表明，生成样本在保持真实纹理与空间模式的同时，严格遵守了给定的像素约束，尤其在地质模拟示例中表现明显。