[论文解读] Optimal quantisation of probability measures using maximum mean discrepancy

Onur Teymur, Jackson Gorham+2 more|arXiv (Cornell University)|Oct 14, 2020

Statistical Methods and Inference参考文献 43被引用 7

一句话总结

本文提出了一种新颖的非贪心（non-myopic）和小批量（mini-batch）贪婪算法，用于使用最大均值差异（MMD）对概率测度进行最优量化，将代表性点的选择建模为可通过半定松弛求解的整数二次规划（IQP）。该方法实现了的一致性与有限样本误差界，在KSD和MMD最小化任务中优于顺序方法，展现出更高的统计效率和更低的计算成本。

ABSTRACT

Several researchers have proposed minimisation of maximum mean discrepancy (MMD) as a method to quantise probability measures, i.e., to approximate a target distribution by a representative point set. We consider sequential algorithms that greedily minimise MMD over a discrete candidate set. We propose a novel non-myopic algorithm and, in order to both improve statistical efficiency and reduce computational cost, we investigate a variant that applies this technique to a mini-batch of the candidate set at each iteration. When the candidate points are sampled from the target, the consistency of these new algorithm - and their mini-batch variants - is established. We demonstrate the algorithms on a range of important computational problems, including optimisation of nodes in Bayesian cubature and the thinning of Markov chain output.

研究动机与目标

• 为通过MMD作为差异准则，高效近似概率测度μ为离散点集ν的挑战提供解决方案。
• 通过将选择限制在有限候选集上，克服在无限域上贪心MMD最小化的计算不可行性。
• 通过非贪心与小批量版本的贪心MMD最小化，提升统计效率并降低计算成本。
• 为所提算法建立理论一致性与有限样本误差界。
• 在贝叶斯求积和马尔可夫链薄化等实际应用中展示该方法的有效性。

提出的方法

• 该方法将n个代表性点的选择建模为在有限候选集上最小化MMD的整数二次规划（IQP）。
• 通过同时优化多个点实现非贪心选择，将问题转化为对解向量施加单位范数约束的约束IQP。
• 采用IQP的半定松弛（SDR）以实现可扩展计算，通过随机超平面投影与平移进行取整，以精确选择m个点。
• 采用随机超平面采样策略，进行R > 1次试验，以在可忽略的额外成本下提升解的质量。
• 通过在候选点子集上应用中位数启发式方法选择核长度尺度，以确保鲁棒性与收敛控制。
• 该方法同时应用于MMD与核Stein差异（KSD），后者使用反向多二次基核以确保弱收敛控制。

实验结果

研究问题

• RQ1 与标准顺序方法相比，非贪心与小批量版本的贪心MMD最小化是否能提升统计效率并降低计算成本？
• RQ2 结合半定松弛的IQP公式是否能为概率测度最优量化的近似提供一致且具有有限样本误差界的解？
• RQ3 特别是通过中位数启发式选择的核长度尺度，如何影响最终点集近似的质量？
• RQ4 非贪心与批量选择策略在MMD与KSD最小化任务中，相较于贪心顺序选择，优势程度如何？
• RQ5 所提方法在贝叶斯求积与马尔可夫链薄化等实际应用中是否能实现具有竞争力的性能？

主要发现

• 在候选集与核的弱正则性条件下，所提非贪心与小批量算法实现了理论一致性与有限样本误差界。
• 采用最佳R次采样（R=50）的半定松弛方法在时间调整后的KSD性能上与未松弛的IQP相当，仅带来小幅计算成本增加。
• 通过中位数启发式选择长度尺度能有效避免病态近似，如在平方指数核的ℓ值变化下，可视化与定量结果均显示性能提升。
• 非贪心选择，特别是同时选择所有点，相比贪心与顺序方法，在高维设置下显著提升了MMD与KSD性能。
• 该方法在贝叶斯求积与马尔可夫链薄化任务中优于现有方法，展现出实际效用与可扩展性。
• 当R超过某一阈值（如R=200）时，SDR方法的性能下降，表明采样成本与解质量之间存在权衡。