[论文解读] Optimal mixture weights in multiple importance sampling

Hera Y. He, Art B. Owen|arXiv (Cornell University)|Nov 14, 2014

Statistical Distribution Estimation and Applications参考文献 11被引用 13

一句话总结

该论文提出了一种优化的混合重要性采样方法，通过联合调节混合权重（α）和控制变量回归系数（β）来最小化方差。证明了方差在α和β上具有联合凸性，从而可通过凸优化实现高效求解，并在罕见事件和奇异被积函数问题中展现出优于均匀或固定混合策略的效率。

ABSTRACT

In multiple importance sampling we combine samples from a finite list of proposal distributions. When those proposal distributions are used to create control variates, it is possible (Owen and Zhou, 2000) to bound the ratio of the resulting variance to that of the unknown best proposal distribution in our list. The minimax regret arises by taking a uniform mixture of proposals, but that is conservative when there are many components. In this paper we optimize the mixture component sampling rates to gain further efficiency. We show that the sampling variance of mixture importance sampling with control variates is jointly convex in the mixture probabilities and control variate regression coefficients. We also give a sequential importance sampling algorithm to estimate the optimal mixture from the sample data.

研究动机与目标

• 解决在使用大量提议分布时，多重重要性采样中均匀混合采样效率低下的问题。
• 通过联合优化混合权重和控制变量系数，降低蒙特卡洛积分的方差。
• 构建一个凸优化框架，以寻找最小化采样方差的最优混合权重。
• 通过引入具有最优权重的控制变量，改进现有方法（如平衡启发式法和分层采样）。
• 提出一种顺序算法，利用试点样本估计最优混合权重，实现实际应用。

提出的方法

• 将带有控制变量的混合重要性采样方差表达式建模为混合权重α和控制变量系数β的凸函数。
• 利用二次-over-线性结构（Boyd & Vandenberghe, 2004）证明方差在α和β上的联合凸性。
• 提出一种顺序重要性采样算法，从试点样本中估计最优α，然后使用这些权重进行最终估计。
• 引入防御性混合成分以确保鲁棒性，并保持与最优单个提议分布相当的遗憾边界。
• 应用凸优化最小化α和β上的样本均方误差，实现高效计算。
• 整合源自提议分布的控制变量，以进一步降低方差，超越标准多重重要性采样。

实验结果

研究问题

• RQ1 能否在多重重要性采样中优化混合权重，使方差低于均匀或固定分配策略？
• RQ2 带有控制变量的混合重要性采样方差是否在混合权重和控制变量系数上具有联合凸性？
• RQ3 控制变量的引入如何影响多重重要性采样中的遗憾边界和整体效率？
• RQ4 使用试点样本优化混合权重的计算成本和方差降低收益如何？
• RQ5 在罕见事件和奇异被积函数问题中，所提方法能否优于现有方法（如平衡启发式法或分层采样）？

主要发现

• 带有控制变量的混合重要性采样方差在混合权重α和控制变量系数β上具有联合凸性，从而支持高效优化。
• 优化混合权重可显著降低方差，尤其当众多提议中仅有少数有效时效果更明显。
• 在奇异被积函数示例中，最优α分配将最大权重赋予最不罕见的成分（例如，角落i=1的α₁ ≈ 0.5188），同时最小化对高方差成分的分配。
• 在罕见事件示例中，最优α方法比均匀采样更有效地降低方差，尽管在此情况下控制变量仅带来边际增益。
• 从试点样本估计最优α的顺序算法在效率上优于固定或均匀分配，尽管计算量增加，但平均运行时间显示净收益。
• 即使最优成分事先未知，该方法仍能实现与最优单个提议分布相当的遗憾边界，并通过控制变量消除了方差界中的μ²/n项。