[论文解读] Predictive Sampling with Forecasting Autoregressive Models

Auke Wiggers, Emiel Hoogeboom|arXiv (Cornell University)|Feb 23, 2020

Music and Audio Processing参考文献 31被引用 7

一句话总结

本文提出预测采样（predictive sampling），一种新颖的算法，通过使用固定点迭代或学习模块来预测未来可能的标记，从而加速自回归模型（ARMs）的祖先采样，同时保持原始模型的似然性。该方法在CIFAR10上将所需的前向传播次数减少高达74%，显著加快采样速度，且未牺牲分布保真度。

ABSTRACT

Autoregressive models (ARMs) currently hold state-of-the-art performance in likelihood-based modeling of image and audio data. Generally, neural network based ARMs are designed to allow fast inference, but sampling from these models is impractically slow. In this paper, we introduce the predictive sampling algorithm: a procedure that exploits the fast inference property of ARMs in order to speed up sampling, while keeping the model intact. We propose two variations of predictive sampling, namely sampling with ARM fixed-point iteration and learned forecasting modules. Their effectiveness is demonstrated in two settings: i) explicit likelihood modeling on binary MNIST, SVHN and CIFAR10, and ii) discrete latent modeling in an autoencoder trained on SVHN, CIFAR10 and Imagenet32. Empirically, we show considerable improvements over baselines in number of ARM inference calls and sampling speed.

研究动机与目标

• 为解决最先进神经自回归模型（ARMs）采样速度慢的问题，这些模型虽推理快速但因序列依赖性导致采样缓慢。
• 开发一种采样方法，在大幅减少所需前向传播次数的同时，保持原始模型的似然性和自回归结构。
• 实现在显式似然建模和离散潜在变量模型（如具有自回归先验的VAEs）中的高效祖先采样。
• 探索两种预测机制——ARM固定点迭代和学习预测模块——以实现无需微调ARM的并行推理。

提出的方法

• 将ARM采样过程重参数化为输入上下文和独立噪声的确定性函数，从而实现对未来的值进行预测。
• 使用ARM固定点迭代，通过将模型反复应用于预测序列来逐步改进预测，最终收敛到一致的预测结果。
• 训练独立的预测模块，利用同一ARM的倒数第二层表示来预测未来标记，实现更快的、学习得到的预测。
• 将预测结果整合到采样循环中：若预测结果与模型输出一致，则跳过后续前向传播，从而减少总的推理调用次数。
• 通过同时依赖观测到的和预测到的标记，利用神经ARM的并行推理能力，同时保持严格的自回归依赖性。
• 在主模型和预测头之间共享ARM的表示，以提升效率和预测一致性。

实验结果

研究问题

• RQ1 我们能否在不修改模型或降低似然性能的前提下，减少自回归模型祖先采样所需的前向传播次数？
• RQ2 仅使用ARM自身参数、无需额外训练的固定点迭代，在预测未来标记方面有多高效？
• RQ3 与基线自回归采样相比，学习预测模块在多大程度上提升了采样速度？
• RQ4 在潜在变量模型（如具有自回归先验的VAEs）中使用预测采样时，是否能保持真实模型分布？
• RQ5 重参数化与表示共享如何影响预测采样中预测的准确性和效率？

主要发现

• 在CIFAR10上，ARM固定点迭代将所需前向传播次数减少至基线的25.9% ± 1.1，采样时间实现6.5倍加速。
• 学习预测模块将前向传播次数减少至基线的50.9% ± 1.8，与标准自回归采样相比，采样时间几乎减半。
• 消融实验表明，仅通过重参数化，前向传播次数从97.2%降至25.9%，证明其在实现准确预测中的关键作用。
• 预测模块中表示共享将前向传播次数从67.1%降至50.9%，表明共享表示可提升预测一致性。
• 在CIFAR10和ImageNet32上训练的VAEs的潜在空间采样中，预测采样显著减少了采样时间，同时保持了样本质量。
• 收敛性分析显示，图像左侧像素比右侧像素更早收敛，与自回归依赖结构一致。