[论文解读] Optimal Convergence for Distributed Learning with Stochastic Gradient Methods and Spectral Algorithms

Junhong Lin, Volkan Cevher|arXiv (Cornell University)|Jan 22, 2018

Stochastic Gradient Optimization Techniques被引用 10

一句话总结

本文在再生核希尔伯特空间（RKHS）中建立了分布式随机梯度方法（SGM）和谱算法在非参数回归中的最优收敛速率。结果表明，当划分数量不太大时，分布式SGM在对数因子范围内实现了最优泛化误差界，且相比分布式KRR和标准SGM，计算复杂度更优。

ABSTRACT

We study generalization properties of distributed algorithms in the setting of nonparametric regression over a reproducing kernel Hilbert space (RKHS). We first investigate distributed stochastic gradient methods (SGM), with mini-batches and multi-passes over the data. We show that optimal generalization error bounds can be retained for distributed SGM provided that the partition level is not too large. We then extend our results to spectral-regularization algorithms (SRA), including kernel ridge regression (KRR), kernel principal component analysis, and gradient methods. Our results are superior to the state-of-the-art theory. Particularly, our results show that distributed SGM has a smaller theoretical computational complexity, compared with distributed KRR and classic SGM. Moreover, even for non-distributed SRA, they provide the first optimal, capacity-dependent convergence rates, considering the case that the regression function may not be in the RKHS.

研究动机与目标

• 分析在再生核希尔伯特空间（RKHS）中使用非参数回归的分布式学习算法的泛化性能。
• 研究带有小批量和多轮遍历的分布式随机梯度方法（SGM）是否能保持最优收敛速率。
• 将理论保证扩展至分布式设置下的谱算法（例如，核岭回归、核主成分分析）。
• 证明分布式SGM相较于分布式KRR和标准SGM具有更优的计算复杂度。
• 首次推导出即使真实回归函数不在RKHS中，谱算法的容量相关、最优收敛速率。

提出的方法

• 提出一种分布式SGM框架，将数据集划分为m个子集，在每个子集上独立训练SGM，并对局部模型进行平均。
• 通过将泛化误差分解为逼近误差、估计误差和计算方差误差来分析误差。
• 利用一种新颖的误差分解和浓度不等式来界定计算方差项，依赖于引理10、15、19和20。
• 通过早停和学习率调度实现正则化，其中 $ ilde{ ho} = N^{-1/(2 heta+ ho)}$ 且 $ heta \in [0,1]$。
• 利用算子 $\mathcal{S}_\rho$ 和经验协方差算子，推导出RKHS范数下期望误差的界。
• 结合先前工作的理论结果（如Lin和Rosasco, 2017b）与新的浓度界，实现最优速率。

实验结果

研究问题

• RQ1 在RKHS上的非参数回归中，分布式SGM是否能保持最优泛化误差界（对数因子范围内）？
• RQ2 划分数量 $m$ 如何影响分布式SGM的收敛速率？
• RQ3 与分布式KRR和标准SGM相比，分布式SGM的计算复杂度如何？
• RQ4 当真实回归函数不在RKHS中时，谱算法能否实现最优、容量相关的收敛速率？
• RQ5 学习率调度和小批量大小在实现分布式SGM中的最优收敛中起什么作用？

主要发现

• 当划分数量 $m$ 不太大时，分布式SGM在对数因子范围内实现了最优泛化误差界。
• 分布式SGM的计算复杂度为：空间复杂度 $O(N)$，时间复杂度 $O(N^{3/2})$，优于标准SGM的 $O(N^2)$ 和分布式KRR的 $O(N^{3/2})$ 空间复杂度。
• 当回归函数不在RKHS中时，本文首次为谱算法提供了最优、容量相关的收敛速率。
• 分布式SGM的误差界为 $\mathbb{E}\|\mathcal{S}_\rho(\bar{f}_{t+1} - \bar{g}_{t+1})\|_\rho^2 \leq C_9 M^2 (1 \vee [\gamma(\theta^{-1} \wedge \log n)]) \frac{\eta}{mb} \left( \tilde{\lambda}\eta t + \log t \right)$，其中 $C_9$ 明确定义。
• 当 $m=1$ 时，该方法退化为标准SGM，且在适当参数选择下，收敛速率与已知最优速率一致。
• 理论框架统一支持多轮SGM和谱算法（包括核岭回归和核主成分分析）的分析。