[论文解读] Tree pyramidal adaptive importance sampling

Javier Felip, Nilesh Ahuja+1 more|arXiv (Cornell University)|Dec 18, 2019

Bayesian Methods and Mixture Models参考文献 26被引用 4

一句话总结

本文提出树金字塔自适应重要性采样（TP-AIS），一种无需参数调节、支持任意时间采样的重要性采样方法，通过分层树金字塔结构在子空间中自适应地优化提议分布。通过迭代细分高密度区域并保留所有加权样本，TP-AIS 在采样效率和归一化有效样本数（N-ESS）方面优于当前最先进的方法（如 DM-PMC、M-PMC 和 LAIS），尤其在低至中等维度问题中表现更优。

ABSTRACT

This paper introduces Tree-Pyramidal Adaptive Importance Sampling (TP-AIS), a novel iterated sampling method that outperforms state-of-the-art approaches like deterministic mixture population Monte Carlo (DM-PMC), mixture population Monte Carlo (M-PMC) and layered adaptive importance sampling (LAIS). TP-AIS iteratively builds a proposal distribution parameterized by a tree pyramid, where each tree leaf spans a subspace that represents its importance density. After each new sample operation, a set of tree leaves are subdivided for improving the approximation of the proposal distribution to the target density. Unlike the rest of the methods in the literature, TP-AIS is parameter free and requires no tuning to achieve its best performance. We evaluate TP-AIS with different complexity randomized target probability density functions (PDF) and also analyze its application to different dimensions. The results are compared to state-of-the-art iterative importance sampling approaches and other baseline MCMC approaches using Normalized Effective Sample Size (N-ESS), Jensen-Shannon Divergence, and time complexity.

研究动机与目标

• 解决由于提议分布不理想导致重要性采样效率低下的挑战。
• 克服现有自适应 IS 方法中需手动调节参数的问题，从而提升性能与可用性。
• 实现任意时间采样，支持计算时间与近似质量之间的权衡，且无需预 burn-in 或混合问题。
• 相比 MCMC 和 IS 基线方法，提升低至中等维度后验分布下的采样效率与近似精度。
• 构建一种可扩展、可并行化的采样框架，通过分层空间划分保持高质量的提议分布。

提出的方法

• 使用树金字塔参数化提议分布，其中每个叶节点代表一个 K 维子空间，并关联一个重要性密度。
• 根据样本密度和重要性权重，迭代细分树的叶节点，以随时间逐步优化提议分布。
• 采用分层自适应细化策略，将更多样本分配给高概率区域，较少样本分配给低概率区域。
• 保留所有样本及其权重，支持并行采样和任意时间停止，且不丢失信息。
• 利用树金字塔结构高效计算和更新嵌套子空间中的提议密度。
• 通过避免适应、调参或核选择的超参数，确保方法完全无需参数调节。

实验结果

研究问题

• RQ1 无参数调节的自适应重要性采样方法是否能实现比当前最先进 IS 和 MCMC 方法更高的采样效率？
• RQ2 TP-AIS 在不同目标分布和维度下的归一化有效样本数（N-ESS）与 Jensen-Shannon 散度（JSD）表现如何？
• RQ3 TP-AIS 的任意时间特性在实际应用中能在多大程度上实现计算时间与近似质量之间的权衡？
• RQ4 与 MCMC 和其他 IS 方法相比，TP-AIS 在维度增加时的可扩展性如何？
• RQ5 TP-AIS 在高维设置下的局限性是什么？其时间复杂度与 MCMC 在高维目标密度下的表现相比如何？

主要发现

• TP-AIS 在归一化有效样本数（N-ESS）方面显著优于 DM-PMC、M-PMC 和 LAIS，在一维高斯混合模型中，100 个样本的性能超过其他方法使用 1000 个样本的性能。
• 在更高维度问题（如 9 维）中，TP-AIS 保持了高采样效率，而 MCMC-Metropolis-Hastings 因高维集中效应导致接受率低且时间呈指数增长。
• 尽管提议结构更复杂，TP-AIS 在合理样本数量下的时间复杂度与基线方法相当。
• TP-AIS 的 Jensen-Shannon 散度（JSD）低于对比方法，表明其对目标后验分布的近似更优。
• 无参数设计消除了调参需求，实现无需领域特定配置的一致高性能。
• 该方法的任意时间特性允许在任意时间点中止采样过程，适用于实时或资源受限的推理应用。