[论文解读] Scalable Uncertainty Quantification via GenerativeBootstrap Sampler

Minsuk Shin, Lu Wang+1 more|arXiv (Cornell University)|Jun 1, 2020

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

本文提出生成式自展采样器（GBS），一种可扩展的方法，通过单次优化替代迭代自展重采样，以生成自展分布。通过学习数据权重到自展统计量的生成函数，GBS 在保持渐近等价性和高精度的同时，将计算速度提升数百倍，适用于线性回归、逻辑回归和高斯过程等多种模型。

ABSTRACT

It has been believed that the virtue of using statistical procedures is on uncertainty quantification in statistical decisions, and the bootstrap method has been commonly used for this purpose. However, nowadays as the size of data massively increases and statistical models become more complicated, the implementation of bootstrapping turns out to be practically challenging due to its repetitive nature in computation. To overcome this issue, we propose a novel computational procedure called {\it Generative Bootstrap Sampler} (GBS), which constructs a generator function of bootstrap evaluations, and this function transforms the weights on the observed data points to the bootstrap distribution. The GBS is implemented by one single optimization, without repeatedly evaluating the optimizer of bootstrapped loss function as in standard bootstrapping procedures. As a result, the GBS is capable of reducing computational time of bootstrapping by hundreds of folds when the data size is massive. We show that the bootstrapped distribution evaluated by the GBS is asymptotically equivalent to the conventional counterpart and empirically they are indistinguishable. We examine the proposed idea to bootstrap various models such as linear regression, logistic regression, Cox proportional hazard model, and Gaussian process regression model, quantile regression, etc. The results show that the GBS procedure is not only accelerating the computational speed, but it also attains a high level of accuracy to the target bootstrap distribution. Additionally, we apply this idea to accelerate the computation of other repetitive procedures such as bootstrapped cross-validation, tuning parameter selection, and permutation test.

研究动机与目标

• 为解决传统自展在大规模数据场景下因重复优化而计算不可行的问题。
• 开发一种可扩展的替代标准自展的方法，在大幅降低计算成本的同时保持统计保真度。
• 实现在复杂模型（如Cox比例风险模型和高斯过程回归）中高效不确定性量化。
• 将该方法扩展至加速其他重复性统计过程，包括自展交叉验证和置换检验。

提出的方法

• GBS 引入一个生成函数，将数据点权重映射到自展统计量，从而避免重复优化。
• 通过单次优化过程训练生成函数，学习权重与自展结果之间的函数关系。
• 利用深度学习建模从数据权重到自展估计的非线性映射，实现快速推理。
• 生成函数被训练以逼近经验自展分布，确保与传统自展的渐近等价性。
• 通过在目标损失函数上训练生成器，然后从学习到的分布中采样，将该方法应用于各类模型。
• 通过复用学习到的生成器，该框架可推广至其他重复性过程，如自展交叉验证和超参数选择。

实验结果

研究问题

• RQ1 是否可通过单次优化过程替代迭代自展，同时保持统计精度？
• RQ2 GBS 在大规模数据集上的计算效率与标准自展相比如何？
• RQ3 GBS 生成的分布与传统自展分布的渐近等价程度如何？
• RQ4 GBS 是否可有效应用于复杂模型，如Cox比例风险模型和高斯过程回归？
• RQ5 GBS 框架是否可扩展至加速其他重复性统计过程，如置换检验和交叉验证？

主要发现

• GBS 在大规模数据集上将自展计算时间减少数百倍，显著提升可扩展性。
• GBS 生成的自展分布与传统自展分布渐近等价，确保统计有效性。
• 实证结果表明，GBS 生成的分布与标准自展分布实际中难以区分。
• 该方法在多种模型中均实现高精度，包括线性回归、逻辑回归、Cox 模型和高斯过程回归。
• GBS 有效加速了其他重复性过程，如自展交叉验证、超参数选择和置换检验。
• 生成函数有效捕捉了从数据权重到自展统计量的复杂映射，实现快速可靠的不确定性量化。