[论文解读] Spatial PixelCNN: Generating Images from Patches

Nader Akoury, Anh‐Tu Nguyen|arXiv (Cornell University)|Dec 3, 2017

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 5

一句话总结

该论文提出 Spatial PixelCNN，一种条件自回归模型，通过在小图像块上进行训练，利用空间坐标和来自 VAE 的全局特征，实现高分辨率图像生成。其在原始分辨率下达到最先进样本质量，并可在 MNIST 上实现高达 50 倍的任意缩放，尽管仅在 8×8 图像块上进行训练，仍优于 PixelCNN++ 基线模型。

ABSTRACT

In this paper we propose Spatial PixelCNN, a conditional autoregressive model that generates images from small patches. By conditioning on a grid of pixel coordinates and global features extracted from a Variational Autoencoder (VAE), we are able to train on patches of images, and reproduce the full-sized image. We show that it not only allows for generating high quality samples at the same resolution as the underlying dataset, but is also capable of upscaling images to arbitrary resolutions (tested at resolutions up to $50 imes$) on the MNIST dataset. Compared to a PixelCNN++ baseline, Spatial PixelCNN quantitatively and qualitatively achieves similar performance on the MNIST dataset.

研究动机与目标

• 解决在 GPU 显存有限的条件下，对高分辨率图像训练自回归生成模型的挑战。
• 仅使用低分辨率训练数据，实现任意分辨率的图像生成。
• 探究空间条件和全局潜在码是否能提升基于图像块的自回归模型在样本一致性和可扩展性方面的表现。
• 证明仅在小图像块上结合空间和全局条件进行训练，可达到与全图训练相当的性能。

提出的方法

• 该模型采用条件自回归框架，其中每个像素基于局部邻域中已生成的像素进行预测。
• 将二维网格的空间坐标作为条件输入，以提供位置上下文信息，从而减少对全图分辨率的依赖。
• 使用变分自编码器（VAE）提取全局图像特征，并作为额外的条件输入，以保持结构一致性。
• 模型在小图像块（如 8×8 或 16×16）上进行训练，从而降低显存占用并提升可扩展性。
• 在推理阶段，模型接收目标分辨率作为输入，通过基于坐标和潜在码的自回归采样，生成任意尺寸的图像。
• 该架构结合了 PixelCNN++ 的局部建模能力与空间和全局条件，实现从低分辨率图像块生成高分辨率图像。

实验结果

研究问题

• RQ1 在仅使用小图像块进行训练时，对像素坐标的空条件是否能提升自回归图像生成的质量？
• RQ2 将空间条件与来自 VAE 的全局潜在码结合，是否能提升高分辨率下的样本质量和结构一致性？
• RQ3 仅在低分辨率图像块上进行训练的模型，能否在远高于训练分辨率的尺度（如 2× 至 50×）下生成高质量图像？
• RQ4 图像块大小如何影响训练效率、模型容量与生成质量之间的权衡？

主要发现

• 在 8×8 图像块上进行训练的 Spatial PixelCNN 在 28×28 MNIST 样本上达到 92.1±1.8 的 LeNet 置信度分数，与 PixelCNN++ 基线（93.7±1.7）相当。
• 尽管参数量更少，但在 8×8 图像块上训练的模型生成的 56×56 样本比在 16×16 图像块上训练的模型更具结构一致性。
• 当在 20×20 图像块上进行训练并结合空间条件时，该模型在 28×28 MNIST 上实现 1.48 的 bits-per-dimension（BPD）值，表明其具有强大的似然建模能力。
• 该模型成功在高达原始分辨率 50 倍（如从 8×8 图像块生成 224×224 图像）的分辨率下生成高质量图像，且一致性损失极小。
• 即使仅在 8×8 图像块上进行训练，该模型在 56×56 分辨率下仍保持较高的 MS-SSIM 和置信度分数，优于在 16×16 图像块上训练的更大模型。
• 即使在极小图像块（如 4×4）上训练，添加空间坐标也能显著提升样本质量，而基线模型在这些情况下无法维持全局一致性。