[论文解读] PixelCNN Models with Auxiliary Variables for Natural Image Modeling

Alexander Kolesnikov, Christoph H. Lampert|arXiv (Cornell University)|Dec 24, 2016

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 7

一句话总结

本文提出了两种改进的PixelCNN模型——灰度PixelCNN和金字塔PixelCNN——通过使用辅助变量（量化后的灰度图像和多分辨率图像金字塔）来解决标准PixelCNN在建模高层图像结构和采样速度方面的关键局限。通过将低层次纹理与高层次形状建模解耦，并实现多尺度生成，这些模型能够生成显著更逼真、全局一致的高分辨率图像，包括128×128分辨率的逼真人脸图像，采样速度比之前的方法快达12.5倍。

ABSTRACT

We study probabilistic models of natural images and extend the autoregressive family of PixelCNN architectures by incorporating auxiliary variables. Subsequently, we describe two new generative image models that exploit different image transformations as auxiliary variables: a quantized grayscale view of the image or a multi-resolution image pyramid. The proposed models tackle two known shortcomings of existing PixelCNN models: 1) their tendency to focus on low-level image details, while largely ignoring high-level image information, such as object shapes, and 2) their computationally costly procedure for image sampling. We experimentally demonstrate benefits of the proposed models, in particular showing that they produce much more realistically looking image samples than previous state-of-the-art probabilistic models.

研究动机与目标

• 解决标准PixelCNN在建模高层图像结构（如物体形状）方面的局限，尽管其在低层次细节上表现优异。
• 降低自回归模型中图像采样的计算成本，因为逐像素顺序生成导致采样速度极慢。
• 探究辅助变量（如灰度图或多尺度图像表示）是否能同时提升采样质量和采样效率。
• 深入了解概率图像模型的归纳偏置，特别是其过度拟合低层次纹理而牺牲全局语义的倾向。
• 证明在多个尺度上应用轻量级PixelCNN架构，无需深层或复杂网络，即可实现高保真图像生成。

提出的方法

• 提出灰度PixelCNN，通过在图像的量化灰度版本上进行条件建模，将高层形状建模与低层次纹理建模解耦。
• 在金字塔PixelCNN中使用多尺度图像金字塔作为辅助变量，实现跨分辨率的分层、粗到细的图像生成。
• 使用高斯混合分布建模像素强度，并提出一种新颖的基于MAP的采样策略，通过减少混合组件中的方差来提升感知质量。
• 在金字塔的每个尺度上应用轻量级PixelCNN架构，在采样过程中显著降低每像素的计算成本。
• 采用最大似然估计端到端训练模型，卷积层中空间位置的参数共享。
• 提出一种缓存优化的推理流水线，进一步加速采样，在TitanX GPU上实现每像素约0.004秒的推理速度。

实验结果

研究问题

• RQ1 在辅助变量（如灰度图）上条件化PixelCNN是否能改善对高层图像结构（如物体形状和全局对称性）的建模？
• RQ2 使用图像表示金字塔将图像生成分解为多尺度步骤，是否能相比标准自回归模型实现更快、更高质量的采样？
• RQ3 低层次纹理建模在多大程度上会分散概率模型对自然图像中关键高层语义内容的捕捉？
• RQ4 在多个尺度上应用轻量级PixelCNN架构，是否仍能生成逼真、高分辨率的图像，而无需深层或复杂网络？
• RQ5 是否存在一种采样策略，能够结合概率采样和MAP推理的优势，在不损失多样性的情况下提升感知质量？

主要发现

• 灰度PixelCNN模型生成的图像样本具有全局一致性，能准确捕捉物体形状和对称性，视觉质量显著优于标准PixelCNN。
• 金字塔PixelCNN在CIFAR-10上的测试似然达到3.32比特/维度，达到当前最先进水平，同时支持高分辨率图像生成。
• 采样速度提升约12.5倍，金字塔PixelCNN在TitanX GPU上实现每像素约0.004秒的推理速度，而PixelCNN++（带缓存）为约0.05秒。
• 一种新颖的基于MAP的采样策略——选择随机采样混合组件的众数——生成了接近逼真质量的图像，具有多样的面部特征和表情。
• 金字塔PixelCNN中的多尺度生成过程成功从8×8的种子图像逐步构建出128×128的图像，在上采样过程中保持了全局一致性和结构稳定性。
• 作者观察到，降低像素分布中混合组件的方差可提升感知质量，表明预测分布中过高的方差可能阻碍图像的真实感。