[论文解读] Survey schemes for stochastic gradient descent with applications to M-estimation

Stéphan Clémençon, Patrice Bertail+2 more|arXiv (Cornell University)|Jan 9, 2015

Machine Learning and Algorithms被引用 3

一句话总结

本文提出了一种用于大规模M-估计中随机梯度下降（SGD）的Horvitz-Thompson梯度估计器，结合了来自调查抽样设计的不等包含概率。通过利用辅助信息分配最优抽样概率，该方法在不增加计算复杂度的前提下显著降低了渐近方差，从而在统计精度上优于均匀子抽样。

ABSTRACT

In certain situations that shall be undoubtedly more and more common in the Big Data era, the datasets available are so massive that computing statistics over the full sample is hardly feasible, if not unfeasible. A natural approach in this context consists in using survey schemes and substituting the "full data" statistics with their counterparts based on the resulting random samples, of manageable size. It is the main purpose of this paper to investigate the impact of survey sampling with unequal inclusion probabilities on stochastic gradient descent-based M-estimation methods in large-scale statistical and machine-learning problems. Precisely, we prove that, in presence of some a priori information, one may significantly increase asymptotic accuracy when choosing appropriate first order inclusion probabilities, without affecting complexity. These striking results are described here by limit theorems and are also illustrated by numerical experiments.

研究动机与目标

• 通过使用调查抽样减少数据规模，解决大规模数据中全样本M-估计的计算不可行性。
• 研究调查抽样中不等包含概率对基于SGD的M-估计器渐近效率的影响。
• 证明：在辅助信息指导下设计的最优抽样方案，可显著降低SGD中的渐近方差，且不增加计算成本。
• 在一般抽样设计下，建立所提出的Horvitz-Thompson SGD估计器的理论一致性和渐近正态性。
• 通过逻辑回归和半参数位置变化模型中的额外信息，实证验证该方法。

提出的方法

• 提出Horvitz-Thompson梯度估计器（HTGD），通过基于不等包含概率的逆概率加权来校正梯度估计。
• 在迭代SGD框架中应用HTGD估计器进行M-估计，在正则条件下确保一致性和渐近正态性。
• 推导极限定理，表明当包含概率与梯度范数成比例时，渐近方差最小化，从而利用辅助信息。
• 分析泊松抽样设计作为典型情形，证明与均匀抽样相比，不等概率可降低方差。
• 建立收敛速率界，表明在强凸性和步长条件下，HTGD算法可实现$ O(t^{-\theta}) $的均方误差衰减，其中$ \theta \in (1/2,1] $。
• 使用Horvitz-Thompson梯度估计器，其中每个样本的贡献权重与其包含概率的倒数成正比，从而在抽样设计下保证无偏性。

实验结果

研究问题

• RQ1 能否通过使用不等包含概率的调查抽样来提高M-估计中随机梯度下降的渐近效率？
• RQ2 包含概率的选择如何影响HTGD估计器的渐近方差？
• RQ3 能否利用辅助信息设计出在不增加计算复杂度的前提下降低方差的抽样方案？
• RQ4 在一般抽样设计下，HTGD算法的理论收敛性质如何？
• RQ5 与朴素的均匀子抽样相比，HTGD方法在统计精度和收敛速率方面表现如何？

主要发现

• 当包含概率与梯度范数成比例时，HTGD估计器的渐近方差可被显著降低，且利用了辅助信息。
• 方差降低程度由渐近协方差矩阵的Hilbert-Schmidt范数之差量化，其减少项$ c_N(\theta^*)/N_0 $依赖于梯度范数和抽样概率。
• 对于泊松抽样，最优包含概率与$ ||Q\nabla_\theta\psi(Z_i,\theta^*)|| $成比例，与均匀抽样相比可实现显著的方差降低。
• HTGD算法在强凸性和有界梯度方差条件下，可实现$ O(t^{-\alpha}) $的收敛速率，其中$ \alpha \in (1/2,1] $，且当$ \alpha = 1 $时需满足$ \gamma(0) > 1/(2l) $。
• 理论分析证实，在一阶和二阶包含概率的标准正则条件下，HTGD估计器具有一致性和渐近正态性。
• 数值实验表明，通过最优抽样引入额外信息可显著加快收敛速度并降低估计误差，尤其在逻辑回归和半参数位置变化模型中表现优异。