[论文解读] On Measure Concentration of Random Maximum A-Posteriori Perturbations

Francesco Orabona, Tamir Hazan+2 more|arXiv (Cornell University)|Oct 15, 2013

Markov Chains and Monte Carlo Methods参考文献 29被引用 10

一句话总结

本文利用Gumbel分布噪声，为随机最大后验概率（MAP）扰动开发了新的测度集中不等式，实现了仅用少量样本即可高效估计期望MAP值。核心贡献是针对Gumbel分布推导出Poincaré不等式与改进的对数 Sobolev 不等式，确保了指数集中性，使得利用低维MAP求解器可高精度估计Gibbs分布期望，相比MCMC显著降低了计算成本。

ABSTRACT

The maximum a-posteriori (MAP) perturbation framework has emerged as a useful approach for inference and learning in high dimensional complex models. By maximizing a randomly perturbed potential function, MAP perturbations generate unbiased samples from the Gibbs distribution. Unfortunately, the computational cost of generating so many high-dimensional random variables can be prohibitive. More efficient algorithms use sequential sampling strategies based on the expected value of low dimensional MAP perturbations. This paper develops new measure concentration inequalities that bound the number of samples needed to estimate such expected values. Applying the general result to MAP perturbations can yield a more efficient algorithm to approximate sampling from the Gibbs distribution. The measure concentration result is of general interest and may be applicable to other areas involving expected estimations.

研究动机与目标

• 为解决现代机器学习中常见于高维、不规则后验分布景观下的MCMC采样高计算成本问题。
• 实现对MAP扰动期望的高效近似，这在无偏采样Gibbs分布中至关重要。
• 推导Gumbel分布随机变量函数的一般测度集中结果，这些变量无界，因而对标准集中不等式构成挑战。
• 支持使用低维MAP扰动作为复杂模型中全维采样的可扩展替代方案。
• 提供理论工具——Poincaré不等式与改进的对数 Sobolev 不等式——以分析随机优化与推理中的方差与集中性。

提出的方法

• 推导Gumbel分布的新型Poincaré不等式，该分布非强对数凹且无界，以控制MAP扰动函数的方差。
• 基于Bobkov与Ledoux（1997）的框架，引入一种改进的对数 Sobolev 不等式，适配Gumbel分布的尾部行为。
• 将这些不等式应用于有界MAP扰动样本均值与其期望的偏差，证明指数集中性。
• 利用集中不等式，证明仅需少量独立同分布样本即可高精度估计低维MAP扰动的期望值。
• 利用图割算法高效计算吸引性自旋玻璃模型中的MAP，实现经验验证。
• 通过在含10^4个变量的100×100自旋玻璃模型上进行实验，测量样本均值的收敛性，验证理论结果。

实验结果

研究问题

• RQ1 尽管Gumbel分布随机变量具有无界支撑且缺乏强对数凹性，是否仍可为这些变量函数建立测度集中不等式？
• RQ2 在小样本数量下，低维MAP扰动的期望值能在多大程度上以高概率被准确估计？
• RQ3 MAP扰动样本均值的指数集中性在多大程度上提升了高维模型中Gibbs分布采样的效率？
• RQ4 所推导的Poincaré不等式与对数 Sobolev 不等式能否推广至其他非对数凹或重尾分布，在统计推断中应用？
• RQ5 在大规模模型中，低维MAP扰动采样的经验性能如何？在收敛速度与精度方面表现如何？

主要发现

• 本文为Gumbel分布建立了新的Poincaré不等式，使Gumbel随机变量函数的方差得以控制。
• 推导出Gumbel分布的改进对数 Sobolev 不等式，即使在缺乏强对数凹性的情况下，仍支持测度的指数集中性。
• 随机MAP扰动的样本均值以指数形式集中在其期望附近，偏差以exp(−cε²)的速率衰减，其中ε为偏差量。
• 仅用10个样本，即可在10^4个变量的自旋玻璃模型中高精度估计MAP扰动的期望值，实验结果已验证。
• 样本均值偏差的直方图呈现指数衰减，证实了理论集中边界在不同样本规模下的有效性。
• 该方法利用低维MAP求解器实现了对Gibbs分布的高效、可扩展采样，避免了在高维、不规则景观中全维MCMC的高昂计算成本。