[论文解读] Non-asymptotic Analysis in Kernel Ridge Regression.

Zejian Liu, Meng Li|arXiv (Cornell University)|Jun 2, 2020

Statistical Methods and Inference参考文献 35被引用 5

一句话总结

本文采用算子理论框架，对具有多维支撑的任意Mercer核的核岭回归进行了非渐近分析，推导了在上确界范数和加权$L_2$范数下的误差界。该研究为Matern核建立了近乎最小最大最优的学习率，并首次获得了关于混合偏导数和高斯过程后验方差的非渐近结果。

ABSTRACT

We develop a general non-asymptotic analysis of learning rates in kernel ridge regression (KRR), applicable for arbitrary Mercer kernels with multi-dimensional support. Our analysis is based on an operator-theoretic framework, at the core of which lies two error bounds under reproducing kernel Hilbert space norms encompassing a general class of kernels and regression functions, with remarkable extensibility to various inferential goals through augmenting results. When applied to KRR estimators, our analysis leads to error bounds under the stronger supremum norm, in addition to the commonly studied weighted $L_2$ norm; in a concrete example specialized to the Matern kernel, the established bounds recover the nearly minimax optimal rates. The wide applicability of our analysis is further demonstrated through two new theoretical results: (1) non-asymptotic learning rates for mixed partial derivatives of KRR estimators, and (2) a non-asymptotic characterization of the posterior variances of Gaussian processes, which corresponds to uncertainty quantification in kernel methods and nonparametric Bayes.

研究动机与目标

• 开发适用于具有多维支撑的任意Mercer核的核岭回归的一般非渐近误差分析。
• 将误差界扩展至比标准$L_2$范数更强的上确界范数，以改进收敛性表征。
• 为Matern核建立近乎最小最大最优的学习率，该核是非参数回归中的关键基准。
• 推导核岭回归估计量的混合偏导数的非渐近学习率，从而实现在导数估计中的置信度量化。
• 对高斯过程中后验方差的非渐近特性进行刻画，支持核方法中的不确定性量化。

提出的方法

• 分析基于算子理论框架，建模核积分算子及其谱性质。
• 在再生核希尔伯特空间范数下推导出两个通用误差界，适用于广泛类别的核函数和回归函数。
• 该框架利用谱分解和正则化来控制核岭回归中的偏差-方差权衡。
• 通过范数等价性和算子范数不等式，将RKHS范数转换为上确界范数。
• 通过分析核函数的导数性质，将方法扩展至混合偏导数，以研究核岭回归估计量的光滑性。
• 对于后验方差，该方法刻画了高斯过程回归中协方差算子的非渐近行为。

实验结果

研究问题

• RQ1 对于具有多维支撑的一般Mercer核，核岭回归在上确界范数下的非渐近学习率可以如何建立？
• RQ2 所推导的误差界与最小最大最优率相比如何，特别是对于Matern核？
• RQ3 能否为核岭回归估计量的混合偏导数获得非渐近学习率？
• RQ4 在核方法下，高斯过程后验方差的非渐近行为是什么？
• RQ5 算子理论框架如何扩展以支持超越均值预测的多样化推断目标？

主要发现

• 本文在上确界范数下建立了非渐近误差界，其强度超过标准的$L_2$基误差界。
• 对于Matern核，所推导的学习率近乎最小最大最优，证实了理论的紧致性。
• 推导出核岭回归估计量混合偏导数的非渐近学习率，从而支持在导数估计中实现不确定性量化。
• 提供了高斯过程后验方差的非渐近刻画，支持严谨的不确定性量化。
• 算子理论框架可扩展至多种推断任务，包括导数估计和后验方差分析。