[论文解读] Stein Variational Adaptive Importance Sampling

Jun Han, Qiang Liu|arXiv (Cornell University)|Apr 18, 2017

Markov Chains and Monte Carlo Methods参考文献 19被引用 17

一句话总结

本文提出Stein Variational Adaptive Importance Sampling（SteinIS），一种非参数自适应重要性采样方法，通过将Stein变分梯度下降（SVGD）与重要性采样相结合，迭代优化提议分布。通过使用SVGD的非参数变换最小化提议分布与目标分布之间的KL散度，SteinIS生成具有相应重要性权重的i.i.d.粒子，从而实现无偏估计并保持结果的完全可解释性。实证验证表明，该方法在深度生成模型的归一化常数估计和对数似然评估中表现出更优的收敛性与效率。

ABSTRACT

We propose a novel adaptive importance sampling algorithm which incorporates Stein variational gradient decent algorithm (SVGD) with importance sampling (IS). Our algorithm leverages the nonparametric transforms in SVGD to iteratively decrease the KL divergence between our importance proposal and the target distribution. The advantages of this algorithm are twofold: first, our algorithm turns SVGD into a standard IS algorithm, allowing us to use standard diagnostic and analytic tools of IS to evaluate and interpret the results; second, we do not restrict the choice of our importance proposal to predefined distribution families like traditional (adaptive) IS methods. Empirical experiments demonstrate that our algorithm performs well on evaluating partition functions of restricted Boltzmann machines and testing likelihood of variational auto-encoders.

研究动机与目标

• 为解决传统自适应重要性采样方法的局限性，后者依赖于受限的参数化提议族且缺乏一致的估计器。
• 克服SVGD粒子的非i.i.d.特性，该特性阻碍了统计解释与偏差-方差分析。
• 在标准重要性采样框架内，利用SVGD动力学实现期望与归一化常数的无偏、一致估计。
• 开发一种灵活的非参数提议适应方法，避免参数假设，充分发挥迭代变量变换的表达能力。

提出的方法

• 该方法通过非参数变换对SVGD的迭代粒子更新，将初始提议分布逐步演化为接近目标分布。
• 在每次迭代中，算法计算最优传输映射，以最小化当前提议分布与目标分布之间的KL散度。
• 将粒子视为来自当前提议分布的i.i.d.样本，同时跟踪重要性权重，以支持标准IS诊断工具与无偏估计器。
• 第ℓ次迭代时的提议分布被定义为初始分布通过ℓ个SVGD变换复合后的前向推导分布。
• 该算法维护一组加权粒子，其中权重根据每个粒子处目标密度与提议密度的比值进行更新。
• 该方法支持中间结果的重用：将迭代次数从1000增加到2000仅需额外运行1000步，而HAIS等方法则需从头开始重新计算。

实验结果

研究问题

• RQ1 能否将SVGD重新诠释为标准重要性采样算法，以实现无偏估计与诊断工具？
• RQ2 如何在保留自适应、非参数提议学习优势的同时，解决SVGD粒子的非i.i.d.问题？
• RQ3 基于SVGD的非参数自适应IS方法是否在收敛速度与计算效率方面优于现有自适应IS方法？
• RQ4 该方法能否一致地估计不可计算的归一化常数？这是原始SVGD无法自然支持的任务。
• RQ5 该方法在高维设置下的可扩展性如何？是否可通过可并行化的动力学进一步加速？

主要发现

• 在MNIST数据集的对数似然估计中，SteinIS的收敛速度优于仅使用一步跃迁的HAIS-1L，且略快于使用十步跃迁的HAIS-10L。
• 尽管仅使用1000次变换，SteinIS在对数似然估计方面达到与HAIS-10L相当或更优的结果，且运行时间显著减少。
• SteinIS的运行时间（10个潜在维度下为224.40秒）远低于HAIS-10L（600.15秒），证明其具有更高的计算效率。
• SteinIS支持增量计算：将迭代次数从1000增加到2000仅需额外运行1000步，而HAIS则必须从头开始重新计算。
• 该方法成功估计了受限玻尔兹曼机的归一化常数以及变分自编码器的对数似然，且使用一致、无偏的估计器。
• 实证结果证实，SteinIS在保持高精度的同时，通过标准IS工具实现了完全可解释性，而标准SVGD则不具备此特性。