[论文解读] Support points

Simon Mak, V. Roshan Joseph|arXiv (Cornell University)|Sep 7, 2016

Statistical Methods and Inference参考文献 45被引用 4

一句话总结

本文提出支持点——一种通过最小化能量距离（一种统计分歧度量）来紧凑表示连续概率分布的代表性点。该方法在数值积分中收敛速度优于蒙特卡洛和准蒙特卡洛方法，且在分布收敛性和光滑函数误差率方面具有理论保证。

ABSTRACT

This paper introduces a new way to compact a continuous probability distribution $F$ into a set of representative points called support points. These points are obtained by minimizing the energy distance, a statistical potential measure initially proposed by Sz\'ekely and Rizzo (2004) for testing goodness-of-fit. The energy distance has two appealing features. First, its distance-based structure allows us to exploit the duality between powers of the Euclidean distance and its Fourier transform for theoretical analysis. Using this duality, we show that support points converge in distribution to $F$, and enjoy an improved error rate to Monte Carlo for integrating a large class of functions. Second, the minimization of the energy distance can be formulated as a difference-of-convex program, which we manipulate using two algorithms to efficiently generate representative point sets. In simulation studies, support points provide improved integration performance to both Monte Carlo and a specific Quasi-Monte Carlo method. Two important applications of support points are then highlighted: (a) as a way to quantify the propagation of uncertainty in expensive simulations, and (b) as a method to optimally compact Markov chain Monte Carlo (MCMC) samples in Bayesian computation.

研究动机与目标

• 开发一种确定性的代表性点集，以紧凑地总结连续概率分布。
• 与标准蒙特卡洛和准蒙特卡洛方法相比，提高数值积分的收敛速度。
• 通过减少样本量，实现昂贵模拟中高效的风险量化。
• 在贝叶斯推断中，最优压缩马尔可夫链蒙特卡洛（MCMC）输出。

提出的方法

• 通过最小化点集经验分布与目标分布F之间的能量距离来生成支持点。
• 利用欧氏距离与其傅里叶变换之间的对偶性表达能量距离，从而支持理论分析。
• 将最小化问题表述为差分凸（DC）规划问题，借助两种专用算法实现高效优化。
• 建立了理论收敛性：支持点在分布上收敛至目标分布F。
• 该方法利用能量距离的结构，实现了对光滑函数积分的改进误差率。
• 该方法被应用于模拟中的不确定性量化，以及贝叶斯计算中MCMC样本的压缩。

实验结果

研究问题

• RQ1 能否构建一种确定性的代表性点集，以紧凑方式总结连续概率分布？
• RQ2 最小化能量距离是否能实现相较于蒙特卡洛和准蒙特卡洛方法更快的数值积分收敛速度？
• RQ3 支持点能否有效降低昂贵模拟输出的维度，同时保持不确定性量化精度？
• RQ4 支持点能否在贝叶斯推断中实现MCMC样本的最优压缩，同时保持统计保真度？

主要发现

• 支持点在分布上收敛至目标分布F，确保渐近正确性。
• 与标准蒙特卡洛方法相比，该方法在一大类函数的积分中实现了改进的误差率。
• 模拟研究显示，支持点在积分精度方面优于蒙特卡洛和特定的准蒙特卡洛方法。
• 支持点通过减少所需样本量，实现了昂贵模拟中高效的风险量化。
• 该方法为贝叶斯计算中MCMC样本的压缩提供了最优方式，同时保持后验特性。