[论文解读] WONDER: Weighted one-shot distributed ridge regression in high dimensions

Edgar Dobriban, Sheng Yue|arXiv (Cornell University)|Mar 21, 2019

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文提出 WONDER，一种用于高维数据的加权单次分布式岭回归方法，通过使用总和超过一的最优权重，显著提升了估计精度——这一现象反直觉，因为岭回归本身具有向下偏倚。该方法在 Million Song Dataset 上实现了高达 100 倍的计算加速，同时保持了测试精度。

ABSTRACT

In many areas, practitioners need to analyze large datasets that challenge conventional single-machine computing. To scale up data analysis, distributed and parallel computing approaches are increasingly needed. Here we study a fundamental and highly important problem in this area: How to do ridge regression in a distributed computing environment? Ridge regression is an extremely popular method for supervised learning, and has several optimality properties, thus it is important to study. We study one-shot methods that construct weighted combinations of ridge regression estimators computed on each machine. By analyzing the mean squared error in a high dimensional random-effects model where each predictor has a small effect, we discover several new phenomena. 1. Infinite-worker limit: The distributed estimator works well for very large numbers of machines, a phenomenon we call "infinite-worker limit". 2. Optimal weights: The optimal weights for combining local estimators sum to more than unity, due to the downward bias of ridge. Thus, all averaging methods are suboptimal. We also propose a new Weighted ONe-shot DistributEd Ridge regression (WONDER) algorithm. We test WONDER in simulation studies and using the Million Song Dataset as an example. There it can save at least 100x in computation time, while nearly preserving test accuracy.

研究动机与目标

• 解决在数据无法集中聚合（因隐私或物流限制）的分布式高维环境中高效执行岭回归的挑战。
• 开发一种单次分布式估计框架，通过最优权重组合多个机器上的本地岭回归结果。
• 在具有小预测变量效应的高维随机效应模型中，分析分布式估计器的均方误差。
• 识别并解释反直觉现象：由于岭回归的收缩偏倚，最优权重总和超过一。
• 设计并验证一种实用算法——WONDER，实现在极低通信与计算开销下接近最优的性能。

提出的方法

• 该方法在每台机器上独立使用本地数据执行岭回归，生成本地估计器 $\hat{\beta}_i$。
• 通过加权组合 $\hat{\beta}_{\text{dist}} = \sum_{i=1}^k w_i \hat{\beta}_i$ 构建全局估计器，其中权重通过最小化均方误差推导得出。
• 利用随机矩阵理论和自由概率推导最优权重，得出 $\sum w_i > 1$ 的公式，这是由于需要校正偏倚。
• 权重依赖于本地样本量、特征维度和正则化参数，其闭式表达式涉及 Stieltjes 变换 $m_\gamma$。
• 该方法实现为 WONDER 算法，基于本地统计信息计算权重，并在单轮通信中聚合。
• 理论分析采用高维渐近模型，假设特征独立同分布且效应较小，从而可精确刻画估计误差。

实验结果

研究问题

• RQ1 为何在单次分布式岭回归中，最优权重总和超过一，与标准平均直觉相悖？
• RQ2 当机器数量趋于无穷时，单次分布式岭回归的性能极限是什么？
• RQ3 如何在高维随机效应模型中推导出最小化均方误差的最优权重？
• RQ4 能否设计一种实用算法，实现在极低通信与计算开销下接近最优的性能？
• RQ5 在高维环境下，分布式估计器的风险与最优风险之间存在何种关系？

主要发现

• 由于岭回归固有的向下偏倚，组合本地岭估计器的最优权重总和超过一，因此简单平均并非最优。
• 本文建立了‘无限工作者极限’，表明即使在机器数量任意多的情况下，分布式估计器仍能保持高性能。
• 所提出的 WONDER 算法在 Million Song Dataset 上实现了至少 100 倍的加速，同时与集中式岭回归相比保持了近乎全部的测试精度。
• 理论分析表明，分布式估计器的渐近相对效率（ARE）下界为 $1/(1 + \alpha^2)$，更紧的界限取决于 $\gamma$ 和 $\alpha^2$。
• 最优权重函数推导为 $\mathcal{W}(k,\gamma,\alpha) = \frac{1}{k - (k-1) \cdot \phi(k\gamma)/\alpha^2}$，其中 $\phi(\gamma) = \gamma m_\gamma(-\gamma/\alpha^2)$。
• 通过偏差-方差分解，为权重膨胀提供了理论依据，表明收缩估计器需进行缩放以最小化均方误差。