[论文解读] On the existence of moments for high dimensional importance sampling

M. Pitt, Minh‐Ngoc Tran+2 more|arXiv (Cornell University)|Jul 30, 2013

Statistical Methods and Inference参考文献 23被引用 4

一句话总结

本文建立了在高维重要性抽样中使用正态提议时矩存在的条件，特别关注第二阶矩以实现可靠估计。提出了一种稳健的两分量混合提议分布，确保重要性权重的方差有限，显著提升了广义线性混合模型和状态空间模型中MCMC的效率，实证结果表明抽样效率最高提升1.5倍。

ABSTRACT

Theoretical results for importance sampling rely on the existence of certain moments of the importance weights, which are the ratios between the proposal and target densities. In particular, a finite variance ensures square root convergence and asymptotic normality of the importance sampling estimate, and can be important for the reliability of the method in practice. We derive conditions for the existence of any required moments of the weights for Gaussian proposals and show that these conditions are almost necessary and sufficient for a wide range of models with latent Gaussian components. Important examples are time series and panel data models with measurement densities which belong to the exponential family. We introduce practical and simple methods for checking and imposing the conditions for the existence of the desired moments. We develop a two component mixture proposal that allows us to flexibly adapt a given proposal density into a robust importance density. These methods are illustrated on a wide range of models including generalized linear mixed models, non-Gaussian nonlinear state space models and panel data models with autoregressive random effects.

研究动机与目标

• 建立在高维设定下，使用重要性权重的矩（尤其是第二阶矩）存在的理论条件。
• 开发实用且计算可行的方法，用于检查和强制实现具有潜正态分量模型中重要性权重的有限方差。
• 设计一种灵活且稳健的混合提议分布，确保满足矩条件的同时保持抽样效率。
• 提升具有不可解析似然的模型中模拟最大似然与贝叶斯MCMC推断的可靠性与效率。
• 在非线性、非高斯状态空间模型及含随机效应的面板数据中，展示该方法的有效性。

提出的方法

• 基于对数似然的曲率和尾部行为，推导出在正态提议下任意矩存在的必要与充分条件。
• 提出一种两分量混合提议分布：一种满足矩条件的修正正态密度，与一种通用提议密度相结合。
• 通过变换重新参数化多元正态先验中的精度矩阵，以实现高效的MCMC抽样。
• 将Shephard和Pitt（1997）算法作为状态空间模型中重要性抽样的基线，随后对其进行修改以确保方差有限。
• 采用自适应随机游走Metropolis-Hastings进行后验抽样，似然估计通过使用矩受控提议的重要性抽样实现。
• 使用集成自相关时间（IACT）和接受率等诊断指标评估MCMC效率。

实验结果

研究问题

• RQ1 在高维潜变量模型中使用正态提议时，重要性权重的第二阶矩在何种条件下存在？
• RQ2 在复杂模型中，如何实际验证或强制实现重要性权重的有限矩？
• RQ3 由修正正态分布与另一提议密度组成的混合分布，能否确保方差有限同时保持抽样效率？
• RQ4 在潜正态高斯模型的贝叶斯推断中，强制满足矩条件对MCMC收敛性和效率有何影响？
• RQ5 与标准重要性抽样相比，所提方法在鲁棒性与计算成本方面表现如何？

主要发现

• 所提出的混合重要性抽样方法确保了重要性权重的第二阶矩有限，这对渐近正态性与可靠推断至关重要。
• 在具有自回归随机效应的泊松面板数据模型中，施加有限方差条件后，IACT从29.2降至19.6，MCMC效率提升约1.5倍。
• 当施加矩条件后，接受率从18.8%提升至22.3%，表明MCMC采样器混合性能更好。
• 该方法成功解决了Shephard和Pitt（1997）算法中因重尾权重导致的无限方差问题，该算法原本因无法收敛而失败。
• 每次MCMC迭代的计算成本略有增加（从0.058秒增至0.079秒），但效率提升带来的收益足以抵消这一开销。
• 该方法广泛适用于具有潜正态分量的模型，包括广义线性混合模型与非线性状态空间模型。