[论文解读] On Effects of Condition Number of Regression Matrix upon Hyper-parameter Estimators for Kernel-based Regularization Methods.

Yue Ju, Tianshi Chen+2 more|arXiv (Cornell University)|Jan 1, 2020

Numerical methods in inverse problems被引用 1

一句话总结

本文分析了回归矩阵的条件数对基于核的正则化中两种超参数估计方法——经验贝叶斯（EB）与SUREy—的影响。结果表明，SUREy的收敛速率上界随条件数的指数比EB高一阶，且随着条件数增大，SUREy的渐近方差增长快于EB，尤其在岭回归设置下更为显著。

ABSTRACT

In this paper, we focus on the influences of the condition number of the regression matrix upon the comparison between two hyper-parameter estimation methods: the empirical Bayes (EB) and the Stein's unbiased estimator with respect to the mean square error (MSE) related to output prediction (SUREy). We firstly show that the greatest power of the condition number of the regression matrix of SUREy cost function convergence rate upper bound is always one larger than that of EB cost function convergence rate upper bound. Meanwhile, EB and SUREy hyper-parameter estimators are both proved to be asymptotically normally distributed under suitable conditions. In addition, one ridge regression case is further investigated to show that when the condition number of the regression matrix goes to infinity, the asymptotic variance of SUREy estimator tends to be larger than that of EB estimator.

研究动机与目标

• 研究回归矩阵的条件数如何影响基于核的正则化中超参数估计器的性能。
• 比较经验贝叶斯（EB）与SUREy估计器在条件数关系下的收敛速率上界。
• 在正则性条件下，检验EB与SUREy估计器的渐近正态性。
• 分析当条件数趋于无穷时，SUREy与EB估计器的渐近方差行为，特别是在岭回归设置下。

提出的方法

• 推导EB与SUREy超参数估计器收敛速率的上界，作为回归矩阵条件数的函数。
• 在设计矩阵与核结构满足适当正则性条件时，建立EB与SUREy估计器的渐近正态性。
• 通过分析岭回归情形，比较当条件数趋于无穷时，EB与SUREy估计器的渐近方差。
• 运用矩阵分析与渐近理论，将条件数与估计器的统计特性（特别是均方误差（MSE）与方差行为）相关联。

实验结果

研究问题

• RQ1 与EB估计器相比，回归矩阵的条件数如何影响SUREy估计器收敛速率上界的指数？
• RQ2 在标准正则性条件下，EB与SUREy超参数估计器是否均渐近服从正态分布？
• RQ3 当回归矩阵的条件数趋于无穷时，SUREy估计器的渐近方差相对于EB估计器如何变化？
• RQ4 在岭回归设置下，当回归矩阵变得日益病态时，SUREy估计器是否表现出比EB更大的渐近方差？

主要发现

• SUREy代价函数收敛速率上界中，条件数的指数比EB代价函数高一阶。
• 在适当的正则性条件下，EB与SUREy超参数估计器均渐近服从正态分布。
• 在岭回归情形下，当回归矩阵的条件数趋于无穷时，SUREy估计器的渐近方差超过EB估计器。
• 条件数对SUREy收敛速率与方差行为的影响强于对EB的影响，表明SUREy对病态性更敏感。