[论文解读] $V$-statistics and Variance Estimation

Zhengze Zhou, Lucas Mentch+1 more|arXiv (Cornell University)|Dec 2, 2019

Statistical Methods and Inference参考文献 32被引用 6

一句话总结

本文通过将 $V$-statistics 重新表述为通过等价核转换的 $U$-statistics，建立了一个通用的渐近框架，使现有 $U$-statistic 理论得以应用。该文推导了核大小 $k_n$ 增长时的中心极限定理，并提出了一种更精确的方差估计器，能够同时考虑随机森林等集成方法中的抽样误差与蒙特卡洛误差。

ABSTRACT

This paper develops a general framework for analyzing asymptotics of $V$-statistics. Previous literature on limiting distribution mainly focuses on the cases when $n o \infty$ with fixed kernel size $k$. Under some regularity conditions, we demonstrate asymptotic normality when $k$ grows with $n$ by utilizing existing results for $U$-statistics. The key in our approach lies in a mathematical reduction to $U$-statistics by designing an equivalent kernel for $V$-statistics. We also provide a unified treatment on variance estimation for both $U$- and $V$-statistics by observing connections to existing methods and proposing an empirically more accurate estimator. Ensemble methods such as random forests, where multiple base learners are trained and aggregated for prediction purposes, serve as a running example throughout the paper because they are a natural and flexible application of $V$-statistics.

研究动机与目标

• 解决当核大小 $k_n$ 随样本量 $n$ 增大时，$V$-statistics 缺乏渐近理论的问题，突破传统固定-$k$ 结果的限制。
• 通过构造等价核，严格实现 $V$-statistics 到 $U$-statistics 的数学转化，以利用现有的 $U$-statistic 渐近理论。
• 通过同时考虑抽样变异性和有限基学习器带来的蒙特卡洛误差，为集成方法开发更精确的方差估计器。
• 通过连接已有方法并提出偏差减少的估计器，统一 $U$-和 $V$-statistics 的方差估计处理方式。
• 通过在随机森林及其他集成模型中的应用，展示该框架的实际相关性，其中 $V$-statistics 天然出现。

提出的方法

• 为 $V$-statistics 构造一个等价核，将其转化为 $U$-statistics，从而可应用霍夫丁分解与哈杰克投影。
• 利用现有 $U$-statistics 的渐近正态性结果，推导出当 $k_n = o(n^{1/4})$ 时 $V$-statistics 的中心极限定理。
• 将集成预测的总方差分解为两部分：抽样方差 $\frac{k_n^2}{n}\zeta_{1,k_n}$ 和蒙特卡洛方差 $\frac{1}{B_n}\zeta_{k_n,k_n}$。
• 提出一种结合两部分的方差估计器，相比传统的自助法与无穷小自助法，显著提升了准确性。
• 使用大规模参考集成（$B_n = 1000$）来估计方差分量 $\zeta_{1,k_n}$ 和 $\zeta_{k_n,k_n}$，以减少偏差。
• 通过合成数据与真实数据集的实证验证，将估计方差与重复训练得到的实证方差进行比较。

实验结果

研究问题

• RQ1 当核大小 $k_n$ 随 $n$ 增大时，能否在经典固定-$k$ 范畴之外，建立 $V$-statistics 的渐近正态性？
• RQ2 如何通过数学方法将 $V$-statistics 严格还原为 $U$-statistics，以启用现有 $U$-statistic 的渐近理论？
• RQ3 基学习器数量 $B_n$ 对集成预测方差的影响是什么？如何准确建模这一影响？
• RQ4 在小 $B_n$ 的有限样本设置下，现有方差估计方法（如自助法、无穷小自助法）表现如何？
• RQ5 能否开发一种统一的、更精确的方差估计器，以同时考虑集成方法中抽样与蒙特卡洛的变异来源？

主要发现

• 在 $k_n = o(n^{1/4})$ 条件下，本文建立了 $V$-statistics 的渐近正态性，将经典结果扩展至核大小增长的情形。
• 所提出的方差估计器同时考虑了抽样与蒙特卡洛方差分量，相比现有方法表现出显著更低的偏差。
• 实证结果表明，当 $B_n$ 较小时，蒙特卡洛方差分量 $\frac{1}{B_n}\zeta_{k_n,k_n}$ 占主导地位；但随着 $B_n$ 增大，抽样方差 $\frac{k_n^2}{n}\zeta_{1,k_n}$ 逐渐成为主导项。
• 通过两部分方差分量之和估计的总方差，在不同 $B_n$ 值下均与实证方差高度一致，验证了估计器的准确性。
• 该框架成功解释了在基学习器数量增加时，随机森林及其他集成模型中方差结构的演变过程。
• 该方法在真实数据集（如 Boston、diabetes、breast cancer）和合成数据上均得到验证，展示了在回归与分类任务中的一致性能。