[论文解读] On Asymptotic Properties of Hyperparameter Estimators for Kernel-based Regularization Methods

Biqiang Mu, Tianshi Chen+1 more|arXiv (Cornell University)|Jul 3, 2017

Statistical Methods and Inference参考文献 13被引用 3

一句话总结

本文分析了基于核的正则化方法中超参数估计器的渐近性质，重点关注经验贝叶斯（EB）和两种Stein无偏风险估计器（SURE）。结果表明，尽管SURE估计器渐近最小化均方误差，因而是最优的，但广泛使用的EB估计器却收敛到一个不同的、次优的目标。令人惊讶的是，SURE的收敛速度比EB更慢，这与$\Phi^T\Phi/N$的收敛速率无关。

ABSTRACT

The kernel-based regularization method has two core issues: kernel design and hyperparameter estimation. In this paper, we focus on the second issue and study the properties of several hyperparameter estimators including the empirical Bayes (EB) estimator, two Stein's unbiased risk estimators (SURE) and their corresponding Oracle counterparts, with an emphasis on the asymptotic properties of these hyperparameter estimators. To this goal, we first derive and then rewrite the first order optimality conditions of these hyperparameter estimators, leading to several insights on these hyperparameter estimators. Then we show that as the number of data goes to infinity, the two SUREs converge to the best hyperparameter minimizing the corresponding mean square error, respectively, while the more widely used EB estimator converges to another best hyperparameter minimizing the expectation of the EB estimation criterion. This indicates that the two SUREs are asymptotically optimal but the EB estimator is not. Surprisingly, the convergence rate of two SUREs is slower than that of the EB estimator, and moreover, unlike the two SUREs, the EB estimator is independent of the convergence rate of $Φ^TΦ/N$ to its limit, where $Φ$ is the regression matrix and $N$ is the number of data. A Monte Carlo simulation is provided to demonstrate the theoretical results.

研究动机与目标

• 理解基于核的正则化方法中超参数估计器的渐近行为。
• 比较经验贝叶斯（EB）和两种Stein无偏风险估计器（SURE）的收敛目标与收敛速率。
• 澄清在最小化预测误差方面，EB还是SURE估计器是渐近最优的。

提出的方法

• 推导EB、SURE及其Oracle对应物的一阶最优性条件。
• 将最优性条件重写为统一形式，以揭示估计器之间的结构关系。
• 分析当数据量$N \to \infty$时估计器的极限行为，重点关注收敛目标与收敛速率。
• 以带正则化最小二乘法的FIR模型估计为具体框架。
• 通过蒙特卡洛模拟验证理论结果。
• 在$\Phi^T\Phi/N$收敛到极限的假设下，运用矩阵微积分与渐近分析。

实验结果

研究问题

• RQ1 当$N \to \infty$时，EB估计器的超参数估计的极限值是什么？
• RQ2 当$N \to \infty$时，两种SURE估计器的超参数估计的极限值是什么？
• RQ3 哪种估计器在最小化均方误差方面是渐近最优的？
• RQ4 EB与SURE估计器的收敛速率如何比较？
• RQ5 EB估计器的收敛速率是否依赖于$\Phi^T\Phi/N$收敛到其极限的速率？

主要发现

• 当$N \to \infty$时，两种SURE估计器收敛到使相应均方误差最小的超参数，表明其具有渐近最优性。
• 经验贝叶斯（EB）估计器收敛到另一个不同的超参数，该参数最小化EB估计准则的期望值，而非MSE，这意味着EB不是渐近最优的。
• 两种SURE估计器的收敛速率慢于EB估计器。
• EB估计器的收敛与$\Phi^T\Phi/N$收敛到其极限的速率无关，而SURE估计器则受此影响。
• 蒙特卡洛模拟验证了估计器的理论收敛行为与收敛速率。