[论文解读] Selection of proposal distributions for generalized importance sampling estimators

Vivekananda Roy, Evangelos Evangelou|arXiv (Cornell University)|May 2, 2018

Statistical Methods and Bayesian Inference参考文献 40被引用 3

一句话总结

本文提出了三种在广义重要性抽样估计器中选择提议分布的方法，以提升多目标推断中的稳定性和效率。它引入了一种基于对称KL散度的几何覆盖准则、一种极小化最大方差方法，以及一种最大熵方法——每种方法均通过方差减少和覆盖优化来提升估计器性能，并为关键估计器提供了稳定的谱方差估计器。

ABSTRACT

The standard importance sampling (IS) estimator, generally does not work well in examples involving simultaneous inference on several targets as the importance weights can take arbitrarily large values making the estimator highly unstable. In such situations, alternative generalized IS estimators involving samples from multiple proposal distributions are preferred. Just like the standard IS, the success of these multiple IS estimators crucially depends on the choice of the proposal distributions. The selection of these proposal distributions is the focus of this article. We propose three methods based on (i) a geometric space filling coverage criterion, (ii) a minimax variance approach, and (iii) a maximum entropy approach. The first two methods are applicable to any multi-proposal IS estimator, whereas the third approach is described in the context of Doss's (2010) two-stage IS estimator. For the first method we propose a suitable measure of coverage based on the symmetric Kullback-Leibler divergence, while the second and third approaches use estimates of asymptotic variances of Doss's (2010) IS estimator and Geyer's (1994) reverse logistic estimator, respectively. Thus, we provide consistent spectral variance estimators for these asymptotic variances. The proposed methods for selecting proposal densities are illustrated using various detailed examples.

研究动机与目标

• 为解决标准重要性抽样在多目标推断中因权重方差过高而导致的不稳定性问题。
• 开发系统化的方法，用于选择多个提议分布，以提升估计器性能。
• 通过优化提议选择，确保广义重要性抽样在鲁棒性和效率方面的表现。
• 为Doss和Geyer的重要性抽样估计器的渐近方差提供一致的估计器。
• 通过详细的数值例子，展示所提出的选择方法的实际有效性。

提出的方法

• 基于对称Kullback-Leibler散度，提出一种几何空间填充覆盖准则，用于衡量提议分布的分布范围。
• 提出一种极小化最大方差方法，通过最小化Doss（2010）广义IS估计器的渐近方差来选择提议分布。
• 为Doss的两阶段IS估计器开发一种最大熵方法，以促进目标空间的多样性与覆盖性。
• 推导出Doss和Geyer（1994）反向逻辑IS估计器渐近方差的一致谱方差估计器。
• 利用这些方差估计来指导提议选择，确保估计器稳定性和效率的提升。
• 通过数值例子验证所提出选择准则在不同场景下的性能表现。

实验结果

研究问题

• RQ1 在使用多个提议分布的广义重要性抽样中，如何选择提议分布以最小化渐近方差？
• RQ2 对于多个提议分布，何种覆盖性度量能确保在目标空间中实现稳健的抽样？
• RQ3 最大熵准则是否能提升两阶段广义IS估计器的性能？
• RQ4 如何为Doss和Geyer的重要性抽样估计器构建一致的渐近方差谱估计器？
• RQ5 所提出的选方法在多目标推断中能在多大程度上提升估计器的稳定性和准确性？

主要发现

• 对称Kullback-Leibler散度为多个提议分布的覆盖性提供了一种可靠的度量，支持有效的空间填充选择。
• 极小化最大方差方法通过优化提议分布配置，显著降低了Doss广义IS估计器的渐近方差。
• 最大熵方法通过促进样本的多样性和减少集中性，提升了Doss两阶段IS框架下的估计器性能。
• 成功推导出Doss和Geyer重要性抽样估计器渐近方差的一致谱估计器，使基于方差的优化成为可能。
• 数值例子表明，与朴素或均匀的提议选择相比，所提出的方法能产生更稳定和高效的估计器。
• 覆盖性、方差最小化与熵最大化相结合，可在复杂多目标推断问题中实现鲁棒且可扩展的提议选择。