[论文解读] Scalable Discrete Sampling as a Multi-Armed Bandit Problem

Yutian Chen, Zoubin Ghahramani|arXiv (Cornell University)|Jun 30, 2015

Machine Learning and Algorithms被引用 3

一句话总结

本文提出了一种新颖的方法，通过将问题建模为具有有限奖励分布的多臂老虎机（MAB），实现大规模贝叶斯推断中的可扩展离散采样，利用Gumbel-Max技巧实现高效子采样。作者提出了三种算法——Racing-Normal、自适应lil’UCB和Racing-Threshold，提供了近似误差的理论保证，并在实际任务中实现了与精确采样相比高达3倍的速度提升，且偏差可忽略不计。

ABSTRACT

Drawing a sample from a discrete distribution is one of the building components for Monte Carlo methods. Like other sampling algorithms, discrete sampling suffers from the high computational burden in large-scale inference problems. We study the problem of sampling a discrete random variable with a high degree of dependency that is typical in large-scale Bayesian inference and graphical models, and propose an efficient approximate solution with a subsampling approach. We make a novel connection between the discrete sampling and Multi-Armed Bandits problems with a finite reward population and provide three algorithms with theoretical guarantees. Empirical evaluations show the robustness and efficiency of the approximate algorithms in both synthetic and real-world large-scale problems.

研究动机与目标

• 解决在多个数据点或潜在函数之间存在高度统计依赖性时，离散采样所面临的计算瓶颈。
• 克服在贡献因子数量$N$较大的大规模图模型和贝叶斯推断中，精确采样的高计算成本。
• 开发一种近似采样框架，在通过子采样实现显著加速的同时保持低偏差，尤其适用于$N$较大的场景。
• 建立离散采样与具有有限奖励分布的多臂老虎机之间的理论联系，从而支持新型算法设计原则。
• 提供一个统一框架，推广并改进现有的基于子采样的MCMC方法，如近似Metropolis-Hastings和切片采样。

提出的方法

• 使用Gumbel-Max技巧，将从分布$p(X=x) \propto \tilde{p}(X=x) = f_0(x) \prod_{n=1}^N f_n(x)$中进行离散采样的问题重新表述为多臂老虎机（MAB）问题。
• 将每个可能的取值$x \in \mathcal{X}$建模为有限臂MAB中的一个臂，其中期望奖励对应于对数概率$\log \tilde{p}(x)$。
• 应用Racing算法，通过子采样估计$\tilde{p}(x)$，按高概率顺序采样并比较最优臂（取值）。
• 提出Racing-Normal变体，利用独立同分布随机变量之和的正态近似，以加速收敛并降低样本复杂度。
• 设计自适应lil’UCB和Racing-Threshold作为替代策略，以在探索与利用之间取得平衡，并提供误差和样本使用量的理论边界。
• 确保近似误差和样本复杂度的理论保证，且所需评估次数的上界为$N|\mathcal{X}|$。

实验结果

研究问题

• RQ1 在高依赖性模型中，是否可以使用多臂老虎机框架高效近似离散采样？
• RQ2 如何通过子采样降低离散采样中的计算成本，同时保持低偏差和强理论保证？
• RQ3 近似离散采样中速度与精度之间的权衡是什么，如何实现优化？
• RQ4 MAB框架能否被适配于有限奖励分布，以在大规模推断中提高采样效率？
• RQ5 所提出的算法在真实世界贝叶斯推断任务中，与精确采样和现有近似MCMC方法相比，实证表现如何？

主要发现

• 在作者共指问题中，Racing-Normal算法相较于精确Gibbs采样实现了高达3倍的速度提升，且聚类性能未表现出明显偏差。
• Sub Gibbs采样在接近收敛时，将因子评估次数减少了约5倍，同时保持了相似的F-1分数。
• 在合成实验中，Racing-Normal算法在烧除期后有效样本量比基线Sub算法高出2倍，相对误差为$2 \times 10^{-3}$。
• 在共指任务中，经验误差率为$0.046$，低于目标值$\delta = 0.05$，表明近似误差得到了良好控制。
• Racing算法框架统一了基于子采样的MCMC方法，包括近似Metropolis-Hastings和切片采样，且鲁棒性更强。
• 自适应lil’UCB在样本复杂度随臂的数量$D$的扩展方面表现更优，但在实际中性能弱于Racing-Normal。