[论文解读] On the Asymptotic Optimality of Cross-Validation based Hyper-parameter Estimators for Regularized Least Squares Regression Problems

Biqiang Mu, Tianshi Chen+1 more|arXiv (Cornell University)|Apr 21, 2021

Control Systems and Identification参考文献 32被引用 5

一句话总结

本文建立了在正则化最小二乘回归中基于交叉验证（CV）的超参数估计器的渐近最优性（a.o.）。证明了广义交叉验证（GCV）在无需有界回归器假设的情况下是渐近最优的，而留一法CV（LOOCV）和重复折返CV（RFCV）则需要有界性假设；HOCV通常不是渐近最优的。模拟实验在具有不同设计矩阵条件的数据库上验证了理论结果。

ABSTRACT

The asymptotic optimality (a.o.) of various hyper-parameter estimators with different optimality criteria has been studied in the literature for regularized least squares regression problems. The estimators include e.g., the maximum (marginal) likelihood method, $C_p$ statistics, and generalized cross validation method, and the optimality criteria are based on e.g., the inefficiency, the expectation inefficiency and the risk. In this paper, we consider the regularized least squares regression problems with fixed number of regression parameters, choose the optimality criterion based on the risk, and study the a.o. of several cross validation (CV) based hyper-parameter estimators including the leave $k$-out CV method, generalized CV method, $r$-fold CV method and hold out CV method. We find the former three methods can be a.o. under mild assumptions, but not the last one, and we use Monte Carlo simulations to illustrate the efficacy of our findings.

研究动机与目标

• 确定基于CV的超参数估计器在正则化最小二乘回归中的渐近最优性（a.o.）。
• 阐明GCV、LOOCV、RFCV和HOCV在何种假设下可实现渐近最优性。
• 探究LOOCV和RFCV的渐近最优性是否依赖于回归器的有界性。
• 通过在具有不同设计矩阵特性的合成数据银行上进行数值模拟，验证理论结果。

提出的方法

• 理论分析推导出CV估计器实现渐近最优性的条件，使用风险、GCV、LOOCV、RFCV和HOCV作为超参数估计器。
• 论文将风险函数分解为三个部分：偏差、方差和交叉项，分别进行渐近分析。
• 关键技术工具包括矩阵求逆恒等式以及对 $ G(\eta) = X^T X + \eta I_p $ 的渐近展开，其中 $ \eta $ 为正则化参数。
• 引理建立了涉及 $ \varepsilon^T X (X^T X)^{-1} X^T \varepsilon $ 及相关项的二次型的随机阶。
• 通过在三个数据银行（D1、D2、D3）上进行模拟实验验证理论结果，其设计矩阵条件和样本量各不相同。
• 模拟实验比较了2折、5折、100折、3900折、2-HOCV和5-HOCV的性能，结果以平均准确率和鲁棒性表示。

实验结果

研究问题

• RQ1 广义交叉验证（GCV）在正则化最小二乘回归中，若不假设回归器有界，是否为渐近最优？
• RQ2 留一法CV（LOOCV）的渐近最优性是否依赖于回归器的有界性？
• RQ3 重复折返交叉验证（RFCV）在何种条件下是渐近最优的？其性能如何随折叠数 $ r $ 变化？
• RQ4 留出法交叉验证（HOCV）在正则化最小二乘回归中是否通常为渐近最优？
• RQ5 模拟结果是否与基于CV的估计器渐近最优性的理论条件一致？

主要发现

• 对于数据银行D1（$ X^T X $ 条件良好），GCV与LOOCV表现几乎完全相同，且优于所有其他估计器，在 $ n=300 $ 时风险为85.93，在 $ n=7800 $ 时为96.49，与不可行的风险估计器极为接近。
• 对于数据银行D2（$ X^T X $ 条件不良），GCV与LOOCV再次优于其他估计器，在 $ n=300 $ 时风险分别为85.56和85.71，在 $ n=7800 $ 时分别为96.46和96.49。
• 对于数据银行D3（无界回归器），GCV仍接近风险估计器（$ n=7800 $ 时为96.70 vs. 96.56），但LOOCV、RFCV和HOCV表现显著更差，表明其最优性依赖于有界性假设。
• RFCV性能随 $ r $ 增大而提升，在有界性假设下趋近于GCV和LOOCV，但对固定 $ r $ 仍略逊一筹。
• HOCV始终表现欠佳，且随 $ r $ 增大而进一步恶化，证实其通常不是渐近最优的。
• 在 $ n=7800 $ 时，2折、5折、2-HOCV和5-HOCV的数值模拟结果无意义，因代价函数恒定且超参数固定，表明优化算法出现故障。