[论文解读] Parallel Multiscale Autoregressive Density Estimation

Scott Reed, Aäron van den Oord+5 more|arXiv (Cornell University)|Mar 10, 2017

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 48

一句话总结

该论文提出了一种并行多尺度自回归密度模型，通过在分层图像金字塔中将像素分组为条件独立集合，将PixelCNN推理时间从O(N)加速至O(log N)。该方法在保持非自回归模型中最佳似然分数的同时，实现了512×512图像的快速、高保真生成。

ABSTRACT

PixelCNN achieves state-of-the-art results in density estimation for natural images. Although training is fast, inference is costly, requiring one network evaluation per pixel; O(N) for N pixels. This can be sped up by caching activations, but still involves generating each pixel sequentially. In this work, we propose a parallelized PixelCNN that allows more efficient inference by modeling certain pixel groups as conditionally independent. Our new PixelCNN model achieves competitive density estimation and orders of magnitude speedup - O(log N) sampling instead of O(N) - enabling the practical generation of 512x512 images. We evaluate the model on class-conditional image generation, text-to-image synthesis, and action-conditional video generation, showing that our model achieves the best results among non-pixel-autoregressive density models that allow efficient sampling.

研究动机与目标

• 解决标准PixelCNN中自回归图像生成的高计算成本问题，其需要逐像素顺序采样。
• 在不牺牲密度估计质量的前提下，实现在自回归模型中的高效并行采样。
• 构建一种分层多尺度框架，使像素组之间实现条件独立性，同时保持空间一致性。
• 在与非自回归基线模型相比具有竞争力的似然分数下，实现高达512×512的高分辨率图像快速生成。
• 在条件生成任务（包括文本到图像生成和视频生成）中展示优异性能，实现快速推理。

提出的方法

• 使用下采样金字塔构建多尺度图像表示，其中每一层代表输入的低分辨率版本。
• 在给定低分辨率特征和上下文的前提下，将各尺度的像素组建模为条件独立，从而实现并行采样。
• 使用深度卷积网络将全局上下文从低分辨率特征传播至高分辨率像素组。
• 将联合似然表示为分组像素条件概率的乘积：p(x) = ∏_{g=1}^{G} p(x^{(g)}|x^{(1:g-1)}），其中G ∈ O(log N)。
• 利用分层结构实现在每张图像上仅需O(log N)次网络评估，显著降低采样时间。
• 在TensorFlow中集成隐藏激活缓存和图内计算，进一步加速推理。

实验结果

研究问题

• RQ1 我们能否在不显著降低密度估计性能的前提下，实现在自回归图像模型中的快速并行采样？
• RQ2 在多尺度下，如何有效将像素分组为条件独立集合以支持并行生成？
• RQ3 如何有效将来自低分辨率特征的全局上下文传递至高分辨率像素组，以保持图像的一致性？
• RQ4 多尺度自回归建模在多大程度上能减少采样时间，同时保持样本质量和似然分数？
• RQ5 该方法能否在高分辨率图像生成（如512×512）中实现实际可行的推理速度？

主要发现

• 所提模型实现O(log N)采样复杂度，在32×32分辨率下相比标准O(N) PixelCNN实现105倍加速，在64×64分辨率下实现超过500倍加速。
• 在ImageNet数据集128×128分辨率下，模型实现每子像素3.55比特的负对数似然，优于Real NVP和ConvDRAW等非自回归基线模型。
• 在CUB数据集上进行文本到图像生成时，模型生成高度逼真的鸟类图像，其定性质量超越在1000个多样化类别上训练的ImageNet模型。
• 在视频生成任务中，当使用高分辨率前一帧作为上下文时，模型实现O(1)采样时间，优于其他同类快速基线模型。
• 从8×8低分辨率图像采样可生成多样化的整体结构，而从32×32采样则能生成更逼真的局部细节，如毛发纹理和眼睛轮廓。
• 该模型在多个基准测试中表现稳健，包括CUB、MPII、MS-COCO、ImageNet和机器人推动物体视频，展现出广泛的适用性和鲁棒性。