[论文解读] Scaling-up Empirical Risk Minimization: Optimization of Incomplete U-statistics

Stéphan Clémençon, Aurélien Bellet+1 more|arXiv (Cornell University)|Jan 12, 2015

Stochastic Gradient Optimization Techniques参考文献 30被引用 17

一句话总结

本文提出使用不完全U-统计量——基于O(n)个采样元组的蒙特卡洛估计——来替代机器学习任务中经验风险最小化（ERM）里计算成本高昂的完整U-统计量。该方法在大幅降低计算量的同时，保持了ERM的O(1/√n)学习率，并通过在复杂度约束下的统一偏差界，提供了近似精度的理论保证。

ABSTRACT

In a wide range of statistical learning problems such as ranking, clustering or metric learning among others, the risk is accurately estimated by $U$-statistics of degree $d\\geq 1$, i.e. functionals of the training data with low variance that take the form of averages over $k$-tuples. From a computational perspective, the calculation of such statistics is highly expensive even for a moderate sample size $n$, as it requires averaging $O(n^d)$ terms. This makes learning procedures relying on the optimization of such data functionals hardly feasible in practice. It is the major goal of this paper to show that, strikingly, such empirical risks can be replaced by drastically computationally simpler Monte-Carlo estimates based on $O(n)$ terms only, usually referred to as incomplete $U$-statistics, without damaging the $O_{\\mathbb{P}}(1/\\sqrt{n})$ learning rate of Empirical Risk Minimization (ERM) procedures. For this purpose, we establish uniform deviation results describing the error made when approximating a $U$-process by its incomplete version under appropriate complexity assumptions. Extensions to model selection, fast rate situations and various sampling techniques are also considered, as well as an application to stochastic gradient descent for ERM. Finally, numerical examples are displayed in order to provide strong empirical evidence that the approach we promote largely surpasses more naive subsampling techniques.

研究动机与目标

• 为解决在ERM中计算完整U-统计量的高计算成本问题，其复杂度为d次时的O(n^d)。
• 证明基于O(n)个采样元组的不完全U-统计量可保持与完整U-统计量相同的O(1/√n)学习率。
• 在复杂度假设下，建立完整U-过程与不完全U-过程之间近似误差的统一偏差界。
• 将所提出的采样方法与朴素子采样技术进行比较，证明其性能更优。
• 将不完全U-统计量框架集成到随机梯度下降中，以实现可扩展学习。

提出的方法

• 使用有放回的蒙特卡洛采样，从O(n)个随机选择的d元组中构建不完全U-统计量，而非全部O(n^d)个元组。
• 应用霍夫丁分解分析不完全U-统计量的方差与偏差，将主成分与退化成分分离。
• 利用伯恩斯坦型不等式，推导完整与不完全U-过程之间近似误差的统一偏差不等式。
• 在假设假设类复杂度（通过度量熵或Rademacher复杂度）的前提下，建立真实U-统计量与其实例版本之间期望偏差的界。
• 提出一种变体随机梯度下降（SGD），在每一步中使用不完全U-统计量来估计梯度，确保在弱假设下的收敛性。
• 采用不同的采样方案（伯努利采样与无放回均匀采样），并为每种方案推导近似误差的尾部界。

实验结果

研究问题

• RQ1 基于O(n)项的不完全U-统计量能否在替代完整U-统计量时，保持ERM的O(1/√n)学习率？
• RQ2 完整U-过程被其不完全版本近似时的准确性如何？可在统一偏差上建立何种界？
• RQ3 所提出的采样策略在统计效率与计算成本方面是否优于朴素子采样？
• RQ4 不完全U-统计量框架能否有效集成到SGD等迭代优化方法中？
• RQ5 在何种条件下，使用不完全U-统计量时可保持快速收敛速率？

主要发现

• 完整U-统计量与其不完全版本之间的近似误差以高概率有界，且该界随B（采样元组数）以O(1/√B)的速度衰减。
• 对于伯努利采样，统一偏差界为O(√(V log(1+|Λ|)/B))，其中V为假设类的度量熵。
• 对于无放回采样，界更紧，为O(√(V/B))，这是由于其更强的集中性质。
• 在理论界与度量学习和聚类任务的实验表现上，所提方法均优于朴素子采样技术。
• 当应用于SGD时，不完全U-统计量梯度估计器的收敛速率与标准ERM相同，保持了O(1/√n)的速率，即使每次迭代仅使用O(n)项。
• 不完全U-统计量的方差在渐近意义上为O(1/n′)（n′为采样元组数），而完整U-统计量的方差为O(1/n′²)，表明在某些条件下其有限样本行为更优。