[论文解读] Uncertainty Quantification for Online Learning and Stochastic Approximation via Hierarchical Incremental Gradient Descent

Weijie Su, Yuancheng Zhu|arXiv (Cornell University)|Feb 13, 2018

Stochastic Gradient Optimization Techniques参考文献 49被引用 29

一句话总结

本文提出HiGrad，一种新颖的分层增量梯度下降方法，通过t分布置信区间在在线学习中实现不确定性量化，且无需额外计算成本，超越标准SGD。通过将SGD轨迹拆分为多个线程，并利用Donsker风格的Ruppert–Polyak平均化扩展，HiGrad在正则条件下实现了置信区间的渐近精确覆盖，为流式处理和大规模数据提供了统计上有效的推断。

ABSTRACT

Stochastic gradient descent (SGD) is an immensely popular approach for online learning in settings where data arrives in a stream or data sizes are very large. However, despite an ever- increasing volume of work on SGD, much less is known about the statistical inferential properties of SGD-based predictions. Taking a fully inferential viewpoint, this paper introduces a novel procedure termed HiGrad to conduct statistical inference for online learning, without incurring additional computational cost compared with SGD. The HiGrad procedure begins by performing SGD updates for a while and then splits the single thread into several threads, and this procedure hierarchically operates in this fashion along each thread. With predictions provided by multiple threads in place, a t-based confidence interval is constructed by decorrelating predictions using covariance structures given by a Donsker-style extension of the Ruppert--Polyak averaging scheme, which is a technical contribution of independent interest. Under certain regularity conditions, the HiGrad confidence interval is shown to attain asymptotically exact coverage probability. Finally, the performance of HiGrad is evaluated through extensive simulation studies and a real data example. An R package higrad has been developed to implement the method.

研究动机与目标

• 解决在线学习和大规模学习场景中随机梯度下降（SGD）缺乏统计推断工具的问题。
• 开发一种计算高效的算法，为SGD估计提供有效的置信区间，且不增加计算成本。
• 在数据按顺序到达或规模过大无法存储的在线学习场景中，实现不确定性量化。
• 基于协方差结构估计，建立基于t分布框架的渐近精确置信区间。
• 将Ruppert–Polyak平均化方案扩展至分层、多线程设置，以实现方差减少与有效推断。

提出的方法

• HiGrad首先采用标准SGD进行初始阶段，随后通过树状层次结构将单一优化路径拆分为多个并行线程。
• 每个线程独立执行增量梯度更新，生成模型参数的多个相关估计。
• 该方法使用Donsker风格的Ruppert–Polyak平均化方案扩展，以估计参数估计的渐近协方差矩阵。
• 利用估计的协方差结构对多线程的预测结果进行去相关化，以构建基于t分布的置信区间。
• 使用t分布进行推断，其自由度由去相关估计的有效样本大小决定。
• 该方法设计确保在标准SGD之外不增加额外计算成本，保持在线与内存高效特性。

实验结果

研究问题

• RQ1 我们能否在不增加计算成本的前提下，为在线学习中的SGD估计构建有效的置信区间？
• RQ2 如何有效去相关多个SGD轨迹，以实现可靠的基于t分布的推断？
• RQ3 所提出的分层梯度下降框架是否能实现置信区间的渐近精确覆盖？
• RQ4 HiGrad在何种正则条件下能确保有效的不确定性量化？
• RQ5 该方法是否可广泛应用于各类统计模型，包括线性回归、逻辑回归、惩罚回归与Huber回归？

主要发现

• 在标准正则条件下（包括有限四阶矩与局部强凸性），HiGrad的基于t分布的置信区间实现了渐近精确覆盖概率。
• 该方法的计算成本与标准SGD保持一致，适用于在线学习与大规模学习应用。
• 模拟研究与Adult数据集的真实数据示例表明，HiGrad能有效捕捉预测变异性，即使在接近50%概率的高方差区域亦然。
• 通过HiGrad构建的置信区间对模型误设具有鲁棒性，在数据与梯度的弱矩条件下仍保持有效性。
• 理论分析证实，通过分层Ruppert–Polyak方案估计的协方差结构可实现一致的方差估计，从而支持准确推断。
• 在适当的矩条件与支撑条件约束下，该方法适用于广泛的M-估计问题，包括线性回归、逻辑回归、惩罚广义线性模型与Huber回归。