[论文解读] Statistical Estimation of the Poincar{é} constant and Application to Sampling Multimodal Distributions

Loucas Pillaud‐Vivien, Francis Bach+3 more|arXiv (Cornell University)|Oct 28, 2019

Markov Chains and Monte Carlo Methods参考文献 30被引用 5

一句话总结

本文提出一种基于核函数的方法，从样本中估计庞加莱常数，从而识别低维的‘难以采样’方向——这对于加速多模态分布中的采样至关重要。该方法利用福克-普朗克算子的谱性质，寻找能通过重要性采样加快收敛的反应坐标，并在合成数据上提供了理论和实证验证。

ABSTRACT

Poincar{é} inequalities are ubiquitous in probability and analysis and have various applications in statistics (concentration of measure, rate of convergence of Markov chains). The Poincar{é} constant, for which the inequality is tight, is related to the typical convergence rate of diffusions to their equilibrium measure. In this paper, we show both theoretically and experimentally that, given sufficiently many samples of a measure, we can estimate its Poincar{é} constant. As a by-product of the estimation of the Poincar{é} constant, we derive an algorithm that captures a low dimensional representation of the data by finding directions which are difficult to sample. These directions are of crucial importance for sampling or in fields like molecular dynamics, where they are called reaction coordinates. Their knowledge can leverage, with a simple conditioning step, computational bottlenecks by using importance sampling techniques.

研究动机与目标

• 从有限样本中估计概率测度的庞加莱常数，以量化朗之万动力学的收敛速率。
• 识别对应于多模态分布中混合最慢方向的低维投影（反应坐标）。
• 通过利用庞加莱常数对采样瓶颈的敏感性，开发一种数据驱动的方法，构建有效的重要性采样方案。
• 提供一种理论基础坚实的核方法算法，适用于贝叶斯推断和分子动力学中的高维多模态后验分布。

提出的方法

• 使用基于核函数的经验估计器，从样本的协方差和梯度统计量中估计庞加莱常数。
• 将估计问题表述为涉及核矩阵和正则化的广义特征值问题，以稳定解。
• 通过优化投影，寻找庞加莱常数最大的方向，从而识别最困难的采样方向。
• 利用识别出的反应坐标对目标测度进行条件化，实现高效的 importance sampling 并加速收敛。
• 利用埃尔米特多项式与梅勒公式，推导估计误差和收敛速率的理论界。
• 将该方法应用于合成多模态分布，以验证其检测反应坐标和提升采样效率的能力。

实验结果

研究问题

• RQ1 能否从概率测度的独立同分布有限样本中一致估计庞加莱常数？
• RQ2 高维分布的哪些低维投影对应于混合最慢的方向，即最难采样的方向？
• RQ3 如何利用估计的庞加莱常数指导有效反应坐标的构建，以实现重要性采样？
• RQ4 对于基于核函数的庞加莱常数估计器，能提供哪些理论保证？
• RQ5 该方法能否在加速多模态后验采样方面，优于启发式或基于物理的反应坐标选择？

主要发现

• 在较弱正则性条件下，可通过基于核函数的方法从有限样本中一致估计庞加莱常数，并提供理论收敛保证。
• 该方法成功识别出合成多模态分布中对应于混合最慢方向的低维反应坐标。
• 庞加莱常数最大的投影被证明能捕捉主要的采样瓶颈，从而通过重要性采样实现显著加速。
• 理论分析表明，估计器的误差随样本量减小，朗之万动力学的收敛速率与估计的庞加莱常数紧密相关。
• 实证结果表明，在高维多模态设置下，基于识别出的反应坐标进行条件化，可使采样效率提升数个数量级。
• 即使在传统谱方法因维度灾难而失效的高维问题中，该方法仍表现出稳健性能。