[论文解读] What is the distribution of the number of unique original items in a bootstrap sample?

A. Mendelson, María A. Zuluaga+2 more|arXiv (Cornell University)|Feb 18, 2016

Statistical Methods and Inference参考文献 15被引用 5

一句话总结

本文对自助样本中唯一项的分布进行了全面分析，推导了其关键性质，并提出了一种实用的正态近似启发式方法。它在单类别和多类别设置下建立了理论上的渐近正态性，使研究人员能够控制和预测袋装法及验证方案中的模型稳定性。

ABSTRACT

Sampling with replacement occurs in many settings in machine learning, notably in the bagging ensemble technique and the .632+ validation scheme. The number of unique original items in a bootstrap sample can have an important role in the behaviour of prediction models learned on it. Indeed, there are uncontrived examples where duplicate items have no effect. The purpose of this report is to present the distribution of the number of unique original items in a bootstrap sample clearly and concisely, with a view to enabling other machine learning researchers to understand and control this quantity in existing and future resampling techniques. We describe the key characteristics of this distribution along with the generalisation for the case where items come from distinct categories, as in classification. In both cases we discuss the normal limit, and conduct an empirical investigation to derive a heuristic for when a normal approximation is permissible.

研究动机与目标

• 澄清自助样本中唯一项的分布，这是模型稳定性和性能的关键因素。
• 为该分布的正态近似何时适用提供实用启发式方法，提升在机器学习应用中的可用性。
• 将分布推广至多类别情形，其中项属于不同的类别，如分类问题中的情形。
• 支持研究人员理解并控制集成方法和验证方案中自助样本的信息含量。

提出的方法

• 使用指示变量和组合概率推导自助样本中唯一项数量的精确分布。
• 通过正相关（PNQD）序列和加权和的概念，建立该分布的渐近正态性。
• 基于类别期望抽取次数（$\bar{a}_s$）和类别大小（$N_s$）提出一个正态近似启发式规则，该规则通过经验推导得出。
• 通过在联合渐近条件下将每类唯一项数量建模为多元正态极限，将分析扩展至多类别情形。
• 通过经验研究验证该启发式方法，并通过简化偏移规则处理边界情况。
• 以多项分布经验分布为基础，为自助重采样中放回抽样的建模提供支持。

实验结果

研究问题

• RQ1 在从 $N$ 个原始项中抽取大小为 $A$ 的自助样本时，唯一原始项数量的精确分布是什么？
• RQ2 在何种条件下，唯一项数量的分布可被正态分布近似？
• RQ3 当项属于多个不同类别（如分类任务中）时，该分布如何推广？
• RQ4 多类别自助样本中唯一项数量渐近正态性的理论依据是什么？
• RQ5 研究人员如何可靠地判断在重采样技术中正态近似在实际应用中是否有效？

主要发现

• 从 $N$ 个原始项中抽取大小为 $A$ 的自助样本时，唯一项数量的分布可使用指示变量和组合求和以闭式表达。
• 当 $N \to \infty$ 时，该分布渐近正态，其收敛性由 PNQD（正相关）序列性质支持。
• 提出一种正态近似启发式规则：$1.4N_s^{0.67} \leq \bar{a}_s \leq 1.13(N_s - 8)^{1.19}$，该规则在 $\bar{a}_s \geq 9$ 且 $N_s \geq 14$ 时有效。
• 对于多类别问题，当满足联合渐近条件时，各类别唯一项数量的联合分布收敛至多元正态分布。
• 当二项极限和单类别条件均满足时，正态近似最为可靠，且通过偏移规则简化处理边界情况。
• 研究结果为控制自助样本中的信息含量提供了理论和实践基础，尤其适用于袋装法和 .632+ 验证。