[论文解读] Random Feature Stein Discrepancies

Jonathan H. Huggins, Lester Mackey|arXiv (Cornell University)|Jun 20, 2018

Adversarial Robustness in Machine Learning被引用 26

一句话总结

本文提出了特征 Stein 偏差（ΦSDs），这是一种新型的可计算 Stein 偏差家族，可严格确定样本收敛到目标分布。通过利用带随机特征的重要性采样，作者提出了随机 ΦSDs（RΦSDs），在保持与二次时间核 Stein 偏差（KSDs）相当的精度的同时，实现接近线性 O(N^{1+γ}) 的计算时间，从而实现快速、可扩展的拟合优度检验和采样器选择。

ABSTRACT

Computable Stein discrepancies have been deployed for a variety of applications, ranging from sampler selection in posterior inference to approximate Bayesian inference to goodness-of-fit testing. Existing convergence-determining Stein discrepancies admit strong theoretical guarantees but suffer from a computational cost that grows quadratically in the sample size. While linear-time Stein discrepancies have been proposed for goodness-of-fit testing, they exhibit avoidable degradations in testing power -- even when power is explicitly optimized. To address these shortcomings, we introduce feature Stein discrepancies ($Φ$SDs), a new family of quality measures that can be cheaply approximated using importance sampling. We show how to construct $Φ$SDs that provably determine the convergence of a sample to its target and develop high-accuracy approximations -- random $Φ$SDs (R$Φ$SDs) -- which are computable in near-linear time. In our experiments with sampler selection for approximate posterior inference and goodness-of-fit testing, R$Φ$SDs perform as well or better than quadratic-time KSDs while being orders of magnitude faster to compute.

研究动机与目标

• 为解决现有 Stein 偏差计算成本过高的问题，其计算复杂度随样本量呈二次方增长。
• 克服如 FSSD 等线性时间替代方法在高维情形下统计功效下降的问题。
• 开发一种可计算、能确定收敛性的偏差度量，兼具理论严谨性与实际高效性。
• 通过近似线性时间方法，实现快速、可扩展的拟合优度检验和 MCMC 采样器选择。

提出的方法

• 提出基于 Stein 算子和特征映射的新型积分概率度量类——特征 Stein 偏差（ΦSDs）。
• 通过使用有限组特征构建 ΦSDs，以确保其能确定样本收敛到目标分布。
• 通过引入重要性采样与提议分布，提出随机 ΦSDs（RΦSDs），以高效近似 ΦSDs。
• 建立理论界，证明在高概率下，RΦSDs 可在 O(N^{1+γ}) 时间内实现 O(N^{-1/2}) 精度估计。
• 在 i.i.d. 抽样下，推导 RΦSDs 的渐近零分布，以支持假设检验。
• 优化特征选择，以在最小化计算成本的同时最大化检验功效。

实验结果

研究问题

• RQ1 能否构建一种 Stein 偏差，使其在保证可计算性的同时，严格确定样本收敛性？
• RQ2 线性时间近似版本的 Stein 偏差能否在高维情形下保持高统计功效？
• RQ3 使用随机特征的重要性采样能否产生具有理论保证的准确、可扩展的 Stein 偏差近似？
• RQ4 在拟合优度检验和采样器选择中，RΦSDs 与二次时间 KSDs 相比，在精度和速度方面表现如何？

主要发现

• RΦSDs 在 O(N^{1+γ}) 时间内实现对真实 ΦSD 的 O(N^{-1/2}) 精度估计，支持近似线性计算。
• 仅使用十个特征，RΦSDs 在采样器选择和拟合优度检验中即优于或匹配二次时间 KSDs 的性能。
• RΦSDs 即使在高维情形下仍保持高检验功效，避免了如 FSSD 等先前线性时间方法的性能退化。
• 理论分析表明，在适当的提议分布下，RΦSDs 以高概率在相对误差上接近真实 ΦSD。
• 推导出 RΦSDs 的渐近零分布，使其在 i.i.d. 抽样原假设下可进行有效的假设检验。