[论文解读] Optimal Rates of Distributed Regression with Imperfect Kernels

Hongwei Sun, Qiang Wu|arXiv (Cornell University)|Jun 30, 2020

Sparse and Compressive Sensing Techniques参考文献 27被引用 8

一句话总结

本文在核函数不完美（即真实回归函数不完全位于再生核希尔伯特空间中）的情况下，通过核岭回归（KRR）和偏差校正核岭回归（BCKRR），建立了分布式核回归的容量无关最优学习率。作者提出了一种响应加权算法框架，并进行了严格的留一法分析，推导出考虑未解释响应方差的精确误差界，从而在核函数不完美时实现最优收敛速率。

ABSTRACT

Distributed machine learning systems have been receiving increasing attentions for their efficiency to process large scale data. Many distributed frameworks have been proposed for different machine learning tasks. In this paper, we study the distributed kernel regression via the divide and conquer approach. This approach has been proved asymptotically minimax optimal if the kernel is perfectly selected so that the true regression function lies in the associated reproducing kernel Hilbert space. However, this is usually, if not always, impractical because kernels that can only be selected via prior knowledge or a tuning process are hardly perfect. Instead it is more common that the kernel is good enough but imperfect in the sense that the true regression can be well approximated by but does not lie exactly in the kernel space. We show distributed kernel regression can still achieves capacity independent optimal rate in this case. To this end, we first establish a general framework that allows to analyze distributed regression with response weighted base algorithms by bounding the error of such algorithms on a single data set, provided that the error bounds has factored the impact of the unexplained variance of the response variable. Then we perform a leave one out analysis of the kernel ridge regression and bias corrected kernel ridge regression, which in combination with the aforementioned framework allows us to derive sharp error bounds and capacity independent optimal rates for the associated distributed kernel regression algorithms. As a byproduct of the thorough analysis, we also prove the kernel ridge regression can achieve rates faster than $N^{-1}$ (where $N$ is the sample size) in the noise free setting which, to our best knowledge, are first observed and novel in regression learning.

研究动机与目标

• 为解决实际中核函数极少完美的问题，即真实回归函数不完全位于相关再生核希尔伯特空间中。
• 将分布式核回归的理论最优性从理想情况下的完美核函数扩展到更现实的不完美但足够好的核函数场景。
• 提出一种分析响应加权基础算法的分布式回归的通用框架，同时考虑未解释响应方差的影响。
• 在不完美核函数下，推导出分布式KRR和BCKRR的精确误差界及容量无关最优学习率。
• 证明在无噪声回归设置下，可实现快于 $O(N^{-1})$ 的超快学习速率，这是回归学习领域的一项新发现。

提出的方法

• 提出一种通用框架，用于分析响应加权的分布式回归算法，其中单个数据集上的性能决定整体分布式学习速率。
• 为核岭回归（KRR）引入留一法分析，推导出明确考虑响应变量中未解释方差的误差界。
• 将相同的留一法分析应用于偏差校正核岭回归（BCKRR），使其在不完美核函数下也能获得精确误差界。
• 通过两种替代视角重新表述BCKRR：残差拟合与重中心化正则化，以促进理论分析并提升其广泛适用性。
• 结合响应加权框架与推导出的误差界，建立分布式KRR和BCKRR的容量无关最优学习速率。
• 利用该框架证明在无噪声回归中，可实现快于 $O(N^{-1})$ 的学习速率，这是回归学习中此前未被观察到的现象。

实验结果

研究问题

• RQ1 当核函数不完美（即真实回归函数不在再生核希尔伯特空间中）时，分布式核回归能否实现最优学习速率？
• RQ2 如何在分布式回归算法的误差界中正式纳入响应变量中未解释方差的影响？
• RQ3 在不完美核函数下，分布式KRR和BCKRR的理论性能如何？它们能否实现容量无关最优速率？
• RQ4 在回归学习中，特别是无噪声设置下，是否可能实现快于 $O(N^{-1})$ 的超快学习速率？
• RQ5 BCKRR算法能否通过替代表述方式重新解释，以支持更广泛的理论分析与应用，而不仅限于显式算子表示？

主要发现

• 所提出的响应加权框架使得分布式回归的分析可简化为在单个数据集上研究基础算法，前提是已考虑未解释方差。
• 通过严格的留一法分析，推导出KRR的精确误差界，该误差界明确纳入了未解释响应方差，从而实现更紧密且更现实的性能估计。
• 即使核函数不完美，分布式KRR和BCKRR仍能实现容量无关最优学习速率，扩展了以往仅限于完美核函数的研究结果。
• 本文首次建立了回归学习中已知的快于 $O(N^{-1})$ 的超快学习速率，该现象在无噪声设置下被观察到，为文献做出了新颖贡献。
• 提出了BCKRR的两种新视角：残差拟合与重中心化正则化，为泛化能力提供了理论与实际优势，超越了KRR的显式算子形式。
• 理论框架与误差界被证明对本地节点数量具有鲁棒性，放宽了以往对分布式学习中分区数量的限制。