[论文解读] Optimal Convergence for Distributed Learning with Stochastic Gradient Methods and Spectral-Regularization Algorithms

Junhong Lin, Volkan Cevher|arXiv (Cornell University)|Jan 22, 2018

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文在再生核希尔伯特空间（RKHS）上的非参数回归中，建立了分布式随机梯度方法（SGM）和谱正则化算法（SRA）的最优泛化误差界。研究表明，当数据划分不过细时，分布式SGM可保持最优收敛速率；并首次为非分布式SRA提供了依赖于容量的最优收敛速率，即使真实回归函数不在RKHS中，其性能也优于现有理论在计算复杂度和理论保证方面的表现。

ABSTRACT

We study generalization properties of distributed algorithms in the setting of nonparametric regression over a reproducing kernel Hilbert space (RKHS). We first investigate distributed stochastic gradient methods (SGM), with mini-batches and multi-passes over the data. We show that optimal generalization error bounds can be retained for distributed SGM provided that the partition level is not too large. We then extend our results to spectral-regularization algorithms (SRA), including kernel ridge regression (KRR), kernel principal component analysis, and gradient methods. Our results are superior to the state-of-the-art theory. Particularly, our results show that distributed SGM has a smaller theoretical computational complexity, compared with distributed KRR and classic SGM. Moreover, even for non-distributed SRA, they provide the first optimal, capacity-dependent convergence rates, considering the case that the regression function may not be in the RKHS.

研究动机与目标

• 分析在再生核希尔伯特空间（RKHS）上非参数回归中分布式学习算法的泛化性质。
• 在数据划分条件下，建立分布式随机梯度方法（SGM）的最优收敛速率。
• 将最优收敛结果扩展至谱正则化算法（SRA），包括KRR与核主成分分析（KPCA）。
• 为非分布式SRA提供首个依赖于容量的最优收敛速率，即使回归函数不在RKHS中。
• 证明分布式SGM的理论计算复杂度低于分布式KRR与经典SGM。

提出的方法

• 分析在再生核希尔伯特空间（RKHS）上的非参数回归框架内进行。
• 在受控划分大小下，分析带有小批量和多轮遍历数据划分的分布式SGM。
• 基于谱衰减假设，研究如核岭回归（KRR）、核主成分分析（KPCA）和梯度方法等谱正则化算法（SRA）。
• 使用面向分布式设置的算子理论技术和集中不等式推导理论界。
• 关键技术贡献在于推导出依赖于容量的收敛速率，其取决于真实回归函数相对于RKHS的光滑性。
• 分析考虑了分布式设置中通信成本与统计精度之间的权衡。

实验结果

研究问题

• RQ1 在数据划分条件下，分布式随机梯度方法能否保持最优泛化误差界？
• RQ2 划分大小如何影响RKHS回归中分布式SGM的收敛速率？
• RQ3 当真实函数不在RKHS中时，谱正则化算法能否实现最优且依赖于容量的收敛速率？
• RQ4 与分布式KRR和经典SGM相比，分布式SGM的理论计算复杂度如何？
• RQ5 所提出的方法是否实现了比现有最先进理论更紧或更通用的收敛界？

主要发现

• 只要数据划分程度不过大，分布式SGM即可实现最优泛化误差界，保持统计效率。
• 分布式SGM的理论计算复杂度低于分布式KRR与经典SGM，使其更具可扩展性。
• 对于非分布式SRA，本文首次在真实回归函数不在RKHS中的情况下，建立了最优且依赖于容量的收敛速率。
• 研究结果在理论保证方面显著优于现有最先进理论在RKHS设置下的分布式与非分布式SRA表现。
• 谱正则化算法，包括KRR与核主成分分析（KPCA），在所提出的分析框架下均受益于相同的最优收敛机制。
• 分析揭示，谱衰减与划分大小之间的相互作用对分布式算法的收敛行为具有关键影响。