[论文解读] Parallelizing Spectral Algorithms for Kernel Learning

Gilles Blanchard, Nicole Mücke|arXiv (Cornell University)|Oct 24, 2016

Sparse and Compressive Sensing Techniques参考文献 17被引用 9

一句话总结

本文提出了一种用于核学习的分布式谱正则化框架，该框架将大规模数据集划分为 m 个子集，在每个子集上独立应用谱方法（例如，核岭回归、L²-提升），并平均结果。在温和条件下，该方法建立了极小极大最优收敛速率，表明只要 m 随 n 的增长足够缓慢，最优速率即可保持不变，具体取决于目标函数的光滑性以及核函数的特征值衰减速度。

ABSTRACT

We consider a distributed learning approach in supervised learning for a large class of spectral regularization methods in an RKHS framework. The data set of size n is partitioned into $m=O(n^α)$ disjoint subsets. On each subset, some spectral regularization method (belonging to a large class, including in particular Kernel Ridge Regression, $L^2$-boosting and spectral cut-off) is applied. The regression function $f$ is then estimated via simple averaging, leading to a substantial reduction in computation time. We show that minimax optimal rates of convergence are preserved if m grows sufficiently slowly (corresponding to an upper bound for $α$) as $n o \infty$, depending on the smoothness assumptions on $f$ and the intrinsic dimensionality. In spirit, our approach is classical.

研究动机与目标

• 将极小极大最优收敛速率从集中式设置扩展到核学习中的分布式谱正则化。
• 分析在独立同分布数据的分布式设置下，划分数量 m 对估计误差的影响。
• 证明在光滑性和特征值衰减假设下，对局部估计器进行简单平均可保持最优速率。
• 将先前仅限于核岭回归的结果推广到一类广泛的谱正则化方法。
• 推导出 m（作为 n 的函数）的条件，以在不施加核函数特征向量限制的前提下保持最优收敛速率。

提出的方法

• 将大小为 n 的数据集划分为 m = O(n^α) 个互不相交且大小相等的子集。
• 在每个子集上，应用谱正则化方法（例如，KRR、L²-提升、谱截断）以计算局部估计器 f̂_Dⱼ^λ。
• 通过平均局部估计器获得最终估计器：f̄_D^λ = (1/m) Σ f̂_Dⱼ^λ。
• 采用偏差-方差分解，正则化参数 λ 基于总样本量 n 选择，而非子集大小。
• 利用子集间的独立性，通过集中不等式和再生核算子恒等式来界定方差。
• 分析依赖于源条件假设（||T⁻ʳf|| ≤ R）和特征值的幂律衰减（λ_j ∼ j⁻ᵇ），以推导误差界。

实验结果

研究问题

• RQ1 在广泛谱正则化方法下，通过简单平均的分布式学习是否能保持极小极大最优收敛速率？
• RQ2 当 n 增大时，划分数量 m 的最大增长率是多少，仍能保持最优收敛速率？
• RQ3 正则化参数 λ 的选择如何影响分布式设置下的偏差-方差权衡？
• RQ4 该方法是否在不施加核函数特征向量的限制性假设下仍保持最优性？
• RQ5 光滑性参数 r 和特征值衰减指数 b 在决定最优 m 时起到什么作用？

主要发现

• 当 m = O(n^α) 且 α < 2br / (2br + b + 1) 时，分布式设置下仍保持极小极大最优收敛速率，其中 α 取决于光滑性 r 和特征值衰减 b。
• 在 ||Tˢ(·)||_ℋ_K 范数下的估计误差被有界于 a_n = R λ_n^r，其中 λ_n 基于全局 n、σ² 和 R 选择。
• 由于平均化，方差项被减少为 1/√m，从而在子采样条件下实现更快的收敛速度。
• 在相同假设下，该方法对 KRR、L²-提升和谱截断均实现了最优速率。
• 该分析无需对核函数特征向量的有界性或衰减性施加条件，与先前工作不同。
• 最终误差界为 O(a_n / √m)，表明增加 m 可提升收敛速度，直至阈值 α < 2br / (2br + b + 1)。