[论文解读] Unbiased Test Error Estimation in the Poisson Means Problem via Coupled Bootstrap Techniques

Natalia L. Oliveira, Lei Jing+1 more|arXiv (Cornell University)|Dec 4, 2022

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出了一种耦合自助法（Coupled Bootstrap, CB）方法，用于在泊松均值问题中实现无偏测试误差估计，通过使用合成的二项分布噪声生成成对的训练和测试数据向量。当真实均值被缩放为 (1−p) 因子时，CB 估计器对测试误差是无偏的，并且在 p→0 时渐近收敛到已知的无偏估计器，而无需对算法施加平滑性或结构假设。

ABSTRACT

We propose a coupled bootstrap (CB) method for the test error of an arbitrary algorithm that estimates the mean in a Poisson sequence, often called the Poisson means problem. The idea behind our method is to generate two carefully-designed data vectors from the original data vector, by using synthetic binomial noise. One such vector acts as the training sample and the second acts as the test sample. To stabilize the test error estimate, we average this over multiple bootstrap B of the synthetic noise. A key property of the CB estimator is that it is unbiased for the test error in a Poisson problem where the original mean has been shrunken by a small factor, driven by the success probability $p$ in the binomial noise. Further, in the limit as $B o \infty$ and $p o 0$, we show that the CB estimator recovers a known unbiased estimator for test error based on Hudson's lemma, under no assumptions on the given algorithm for estimating the mean (in particular, no smoothness assumptions). Our methodology applies to two central loss functions that can be used to define test error: Poisson deviance and squared loss. Via a bias-variance decomposition, for each loss function, we analyze the effects of the binomial success probability and the number of bootstrap samples and on the accuracy of the estimator. We also investigate our method empirically across a variety of settings, using simulated as well as real data.

研究动机与目标

• 开发一种无偏测试误差估计器，用于泊松均值问题，且无需对估计算法施加平滑性或结构假设。
• 提供一种稳定、低方差的替代方案，以取代现有无偏估计器（例如基于 Hudson 定理的估计器），后者需要运行算法 n+1 次。
• 将无偏估计的适用范围扩展到泊松偏差损失和平方损失等损失函数，适用于离散、计数型模型。
• 通过确保不同算法间测试误差差异的无偏估计，实现可靠的模型比较与超参数调优。
• 通过一种新颖的数据分割机制（利用二项分布噪声），将基于自助法的误差估计推广至泊松设定，而不仅限于高斯模型。

提出的方法

• 使用二项分布稀释法从原始数据 $Y$ 中生成两个独立的数据向量 $Y^*$ 和 $Y^\flat$：$Y^* \triangleq \mathrm{Bin}(Y, p)$，$Y^\flat \triangleq Y - Y^*$，确保 $\mathbb{E}[Y^*] = \mathbb{E}[Y^\flat] = (1-p)\mu$。
• 将 $Y^*$ 用作训练样本，$Y^\flat$ 用作测试样本，计算算法的预测 $\hat{\mu} = g(Y^*)$，然后评估损失 $L(Y^\flat, g(Y^*))$。
• 以独立的二项分布噪声抽样重复上述过程 $B$ 次，并对损失取平均，形成耦合自助估计器 $\widehat{\mathrm{Err}}_{\mathrm{CB}}(g)$。
• 证明 $\mathbb{E}[\widehat{\mathrm{Err}}_{\mathrm{CB}}(g)] = \mathrm{Err}_p(g)$，其中 $\mathrm{Err}_p(g)$ 是当真实均值为 $\mu_p = (1-p)\mu$ 时算法 $g$ 的测试误差，从而建立无偏性。
• 证明当 $p \to 0$ 时，CB 估计器收敛到由 Hudson 定理导出的经典无偏估计器，该估计器在对 $g$ 不做任何假设下均为无偏。
• 通过将估计器的均方误差按 $p$ 和 $B$ 进行分解，分析偏差-方差权衡，证明当 $g$ 不稳定时，CB 估计器相比标准无偏估计器具有更高的稳定性。

实验结果

研究问题

• RQ1 能否构造一种基于自助法的方法，在不假设估计算法具有平滑性或结构的前提下，实现泊松均值问题中测试误差的无偏估计？
• RQ2 二项分布噪声参数 $p$ 的选择如何影响耦合自助估计器的偏差与方差？
• RQ3 在实际应用中，特别是对于不稳定的算法，耦合自助估计器是否比基于 $n+1$ 次运行的经典无偏估计器具有更低的方差？
• RQ4 在 $p \to 0$ 的极限下，耦合自助估计器在多大程度上能恢复已知的无偏估计器？
• RQ5 该方法能否在泊松回归和密度估计中有效应用于模型选择与调优，特别是在使用偏差损失或平方损失时？

主要发现

• 当真实均值被缩放为 $1-p$ 因子时，无论算法 $g$ 如何，耦合自助估计器对算法测试误差的估计都是精确无偏的。
• 当 $p \to 0$ 时，耦合自助估计器收敛到由 Hudson 定理导出的经典无偏估计器，该估计器在对 $g$ 不做任何假设下均为无偏。
• 该方法仅需运行算法 $g$ $B$ 次，而经典无偏估计器需要 $n+1$ 次运行，因此在计算上具有显著优势。
• 实证结果表明，当算法 $g$ 不稳定时，耦合自助估计器的方差通常低于经典无偏估计器。
• 在使用树懒目击数据进行 P-样条密度估计任务中，最小化 CB 估计的偏差损失可得到比最小化 CB 估计的平方损失更合理、更平滑的密度估计。
• 使用 CB 估计器进行模型选择时，当采用偏差损失，成功识别出更正则化的调优参数，其结果更符合领域预期，优于使用平方损失的结果。