[论文解读] On the Estimation of Derivatives Using Plug-in Kernel Ridge Regression Estimators

Zejian Liu, Meng Li|arXiv (Cornell University)|Jun 2, 2020

Machine Learning and Algorithms参考文献 64被引用 7

一句话总结

本文提出了一种即插即用的核岭回归（KRR）估计器，用于在多维随机设计设置下对任意阶混合偏导数进行非参数估计。在强L∞范数下建立了非渐近误差界，并表明该估计器在H"older类和Sobolev类中对所有导数阶数均实现了近乎最优的收敛速率，且使用相同的调参参数，从而实现自动适应并简化调参过程。

ABSTRACT

We study the problem of estimating the derivatives of a regression function, which has a wide range of applications as a key nonparametric functional of unknown functions. Standard analysis may be tailored to specific derivative orders, and parameter tuning remains a daunting challenge particularly for high-order derivatives. In this article, we propose a simple plug-in kernel ridge regression (KRR) estimator in nonparametric regression with random design that is broadly applicable for multi-dimensional support and arbitrary mixed-partial derivatives. We provide a non-asymptotic analysis to study the behavior of the proposed estimator in a unified manner that encompasses the regression function and its derivatives, leading to two error bounds for a general class of kernels under the strong $L_\infty$ norm. In a concrete example specialized to kernels with polynomially decaying eigenvalues, the proposed estimator recovers the minimax optimal rate up to a logarithmic factor for estimating derivatives of functions in Hölder and Sobolev classes. Interestingly, the proposed estimator achieves the optimal rate of convergence with the same choice of tuning parameter for any order of derivatives. Hence, the proposed estimator enjoys a extit{plug-in property} for derivatives in that it automatically adapts to the order of derivatives to be estimated, enabling easy tuning in practice. Our simulation studies show favorable finite sample performance of the proposed method relative to several existing methods and corroborate the theoretical findings on its minimax optimality.

研究动机与目标

• 开发一种统一框架，用于在多维随机设计的非参数回归中估计任意阶混合偏导数。
• 解决现有方法中不同导数阶数间调参参数选择困难的问题。
• 为基于核岭回归的导数估计提供非渐近理论保证。
• 证明相同的调参参数可对所有导数阶数实现最优收敛速率，从而实现即插即用特性。

提出的方法

• 提出一种即插即用的KRR估计器，通过直接对KRR解求导来估计导数，避免迭代或针对阶数的调参。
• 采用非渐近分析框架，推导出一般核类在强L∞范数下的误差界。
• 推导出在H"older类和Sobolev类中，对任意阶混合偏导数的收敛速率。
• 证明该估计器对多项式衰减特征值核可实现近乎极小极大最优速率。
• 证明相同的调参参数选择可对所有导数阶数实现最优收敛速率，从而实现即插即用调参。
• 利用范数不等式和特征值衰减假设（如 µi ≍ i−2α）来界定偏差与方差分量。

实验结果

研究问题

• RQ1 是否可以通过单一核岭回归估计器，在无需重新调参的情况下，对所有导数阶数均实现最优收敛速率？
• RQ2 在强L∞范数下，基于KRR的导数估计器的非渐近误差行为如何？
• RQ3 在有限样本性能和调参复杂度方面，该估计器与现有方法相比表现如何？
• RQ4 在H"older类和Sobolev类中，相同的调参参数是否可对不同导数阶数实现极小极大最优速率？
• RQ5 核函数的特征值衰减与最终导数估计误差之间的理论关系是什么？

主要发现

• 所提出的即插即用KRR估计器在强L∞范数下，对H"older类和Sobolev类中的导数实现了近乎极小极大最优收敛速率。
• 相同的调参参数选择可对所有导数阶数实现最优速率，展示了即插即用特性，显著简化了实际应用。
• 最优调参参数为 λ ≍ (log n / n)^(2α/(2α+1))，满足所需条件 ˜κ²α,λ = o(√(n/log n))。
• 偏差项衰减为 λ^(1/2 - m/(2α))，方差项衰减为 λ^(-2m+1)/(4α) × √(log n / n)，且在最优λ处使总误差最小化。
• 模拟结果表明，与基准方法（包括局部多项式和平滑样条估计器）相比，该估计器在有限样本下表现优异。
• 在大多数情况下，Matérn核实现了最低的中位RMSE，且所提出的KRR估计器在所有导数阶数下均表现出具有竞争力的性能。