[论文解读] On Medians of (Randomized) Pairwise Means

Pierre Laforgue, Stéphan Clémençon+1 more|arXiv (Cornell University)|Nov 1, 2022

Statistical Methods and Inference参考文献 17被引用 4

一句话总结

该论文通过引入随机化成对均值的中位数（MoRPM）将中位数-均值（MoM）框架扩展至成对学习问题，利用从随机采样或分块数据中计算的U统计量的中位数来估计风险。该方法在保持MoM的鲁棒性与泛化界的同时，使其实用于排名、聚类和度量学习，且仅需最小假设。

ABSTRACT

Tournament procedures, recently introduced in Lugosi & Mendelson (2016), offer an appealing alternative, from a theoretical perspective at least, to the principle of Empirical Risk Minimization in machine learning. Statistical learning by Median-of-Means (MoM) basically consists in segmenting the training data into blocks of equal size and comparing the statistical performance of every pair of candidate decision rules on each data block: that with highest performance on the majority of the blocks is declared as the winner. In the context of nonparametric regression, functions having won all their duels have been shown to outperform empirical risk minimizers w.r.t. the mean squared error under minimal assumptions, while exhibiting robustness properties. It is the purpose of this paper to extend this approach in order to address other learning problems, in particular for which the performance criterion takes the form of an expectation over pairs of observations rather than over one single observation, as may be the case in pairwise ranking, clustering or metric learning. Precisely, it is proved here that the bounds achieved by MoM are essentially conserved when the blocks are built by means of independent sampling without replacement schemes instead of a simple segmentation. These results are next extended to situations where the risk is related to a pairwise loss function and its empirical counterpart is of the form of a $U$-statistic. Beyond theoretical results guaranteeing the performance of the learning/estimation methods proposed, some numerical experiments provide empirical evidence of their relevance in practice.

研究动机与目标

• 将中位数-均值（MoM）方法从标准回归扩展至涉及成对损失函数的学习问题，如排名、聚类和度量学习。
• 研究当数据块通过无放回独立随机抽样（SRSWoR）而非确定性划分构建时，MoM的统计性能。
• 在偏差界和泛化误差方面，为成对均值的中位数（MoRPM）估计器建立理论保证。
• 证明即使在块大小为随机或可变的情况下，MoM的鲁棒性与收敛性特性在随机化块构建下依然保持不变。
• 通过成对学习任务上的数值实验，提供该方法有效性的经验验证。

提出的方法

• 提出一种新估计器——成对均值的中位数（MoRPM），其通过独立SRSWoR或确定性划分构建的数据块，计算这些块上U统计量的中位数。
• 使用二阶U统计量来估计成对风险，其中每个U统计量在大小为 $ B $ 的块上计算，最终估计值为这些块级U统计量的中位数。
• 利用Hoeffding不等式与集中不等式控制MoRPM估计器与真实风险 $ \theta(h) $ 的偏差，借助中位数对异常值的鲁棒性。
• 通过结合条件集中不等式与U统计量的性质（特别是对块级U统计量方差的控制），推导出高概率偏差界。
• 采用两阶段分析：首先控制单个块的U统计量偏离真实风险的概率，然后利用Hoeffding不等式控制偏差块比例，从而控制中位数的偏差。
• 证明最优块大小 $ B $ 与块数 $ K $ 可被选择以最小化偏差界，其中 $ K \propto \log(1/\delta) $ 且 $ B \propto n/K $，从而实现次高斯集中。

实验结果

研究问题

• RQ1 中位数-均值（MoM）原则能否被扩展至风险定义为成对观测期望的学习问题，如成对排名或度量学习？
• RQ2 通过SRSWoR而非确定性划分进行块构建的随机化是否会损害基于MoM的估计器的统计性能？
• RQ3 在一般矩条件下的有限样本偏差界中，成对均值的中位数（MoRPM）估计器的偏差界如何？
• RQ4 U统计量的方差分量（一阶与二阶投影）如何影响MoRPM估计器的收敛速率？
• RQ5 即使风险是二阶U统计量，MoRPM方法是否仍能实现与非参数回归中标准MoM相当的泛化误差界？

主要发现

• 成对均值的中位数（MoRPM）估计器实现了 $ \sqrt{\frac{\log(1/\delta)}{n}} + \sqrt{\frac{\log^2(1/\delta)}{n^2}} $ 阶的偏差界，在最小假设下达到标准MoM的最优速率。
• 当块通过SRSWoR构建时，MoRPM估计器保持与基于划分的MoM相同的高概率偏差界，证明随机化不会降低性能。
• 最优块大小 $ B $ 与块数 $ K $ 的选择使得偏差界的主要项为 $ \sqrt{C_1 \frac{\log(1/\delta)}{n}} $，其中 $ C_1 = 108\sigma_1^2(h) $，第二项为 $ \sqrt{C_2 \frac{\log^2(1/\delta)}{n(2n - 9\log(1/\delta))}} $，其中 $ C_2 = 486\sigma_2^2(h) $。
• 该方法确保最终估计器对重尾或污染数据具有鲁棒性，因为块级U统计量的中位数降低了对异常值的敏感性。
• 理论分析证实，即使底层损失函数无界，MoRPM估计器仍以次高斯速率收敛至真实风险 $ \theta(h) $。
• 数值实验验证了MoRPM的实际有效性，表明其在度量学习和排名等成对学习任务中表现具有竞争力，尤其在数据污染条件下。