[论文解读] Neural Adaptive Sequential Monte Carlo

Shixiang Gu, Zoubin Ghahramani+1 more|arXiv (Cornell University)|Jun 10, 2015

Gaussian Processes and Bayesian Inference参考文献 23被引用 44

一句话总结

本文提出神经自适应序蒙特卡洛（NASMC），一种基于梯度的方法，利用神经网络自动学习序蒙特卡洛（SMC）的最优提议分布。通过使用随机梯度下降最小化真实后验分布与提议分布之间的包含式Kullback-Leibler散度，NASMC显著提升了非线性状态空间模型中的推理准确性和参数学习性能，并实现了潜在变量RNN的有效训练，优于现有的自适应滤波器和最先进基线模型。

ABSTRACT

Sequential Monte Carlo (SMC), or particle filtering, is a popular class of methods for sampling from an intractable target distribution using a sequence of simpler intermediate distributions. Like other importance sampling-based methods, performance is critically dependent on the proposal distribution: a bad proposal can lead to arbitrarily inaccurate estimates of the target distribution. This paper presents a new method for automatically adapting the proposal using an approximation of the Kullback-Leibler divergence between the true posterior and the proposal distribution. The method is very flexible, applicable to any parameterized proposal distribution and it supports online and batch variants. We use the new framework to adapt powerful proposal distributions with rich parameterizations based upon neural networks leading to Neural Adaptive Sequential Monte Carlo (NASMC). Experiments indicate that NASMC significantly improves inference in a non-linear state space model outperforming adaptive proposal methods including the Extended Kalman and Unscented Particle Filters. Experiments also indicate that improved inference translates into improved parameter learning when NASMC is used as a subroutine of Particle Marginal Metropolis Hastings. Finally we show that NASMC is able to train a latent variable recurrent neural network (LV-RNN) achieving results that compete with the state-of-the-art for polymorphic music modelling. NASMC can be seen as bridging the gap between adaptive SMC methods and the recent work in scalable, black-box variational inference.

研究动机与目标

• 为解决SMC方法对劣质提议分布的高度敏感性问题，该问题会导致高方差估计与性能下降。
• 开发一种灵活且端到端可训练的框架，利用神经网络自动适应SMC中的提议分布。
• 通过提升提议质量，改善粒子边际Metropolis-Hastings（PMMH）中的推理准确性和混合性能。
• 利用SMC实现复杂潜在变量模型（如循环神经网络）的有效训练。
• 通过利用神经参数化与基于梯度的优化，弥合自适应SMC与黑箱变分推理之间的差距。

提出的方法

• 通过基于梯度的优化方法最小化真实后验分布与提议分布之间的包含式Kullback-Leibler散度。
• 使用可微神经网络参数化提议分布，支持灵活且高容量的模型，包括混合密度网络。
• 利用SMC算法生成的样本估计KL散度的梯度，实现通过序列滤波过程的随机反向传播。
• 该框架支持在线学习与批量学习两种变体，允许在序列推理过程中或事后进行适应。
• 提议网络通过随机梯度下降（如Adam优化器）进行训练，使用SMC生成的重要性权重。
• 该方法可无缝集成到现有SMC流程中，并可用作PMMH中贝叶斯参数学习的子程序。

实验结果

研究问题

• RQ1 能否有效训练神经网络以自适应地改进SMC中的提议分布，从而获得更准确的后验近似？
• RQ2 NASMC在推理准确性和有效样本量方面与EKPF和UPF等成熟自适应SMC方法相比表现如何？
• RQ3 改进的SMC推理在多大程度上提升了粒子边际Metropolis-Hastings（PMMH）在参数学习中的混合性能与收敛速度？
• RQ4 NASMC能否实现对复杂潜在变量模型（如LV-RNNs）的有效训练，且性能可与最先进方法相媲美？
• RQ5 与变分推理中使用的外延KL散度相比，在SMC中使用包含式KL散度有何影响？

主要发现

• NASMC在标准SMC基准测试中显著优于重采样滤波器以及EKPF和UPF等自适应方法，尤其在非线性状态空间模型中表现突出。
• 在JSBChorales数据集上，NASMC实现了3.99的负对数似然，优于重采样滤波器（4.26），并匹配或超越其他最先进模型。
• 该方法改善了PMMH中的混合性能并减少了预 burn-in 时间，证明了更优提议可带来更高效的贝叶斯参数学习。
• NASMC成功实现了潜在变量RNN（LV-RNNs）的有效训练，在音乐生成任务中取得具有竞争力的结果，包括在piano-midi-de数据集上测试集NLL为7.61。
• 该框架成功处理了高维与复杂模型，如使用深度神经网络作为提议的模型，这些模型对传统粒子滤波器而言难以处理。
• 实验表明，结合SMC-based梯度估计，在SMC中使用包含式KL散度可获得比变分自由能方法更鲁棒、更准确的后验近似，尤其在序列设置中。