[论文解读] On Optimal Generalizability in Parametric Learning

Ahmad Beirami, Meisam Razaviyayn+2 more|arXiv (Cornell University)|Nov 14, 2017

Machine Learning and Data Classification参考文献 17被引用 14

一句话总结

本文提出了一种参数学习中留一法交叉验证（ALOOCV）的高效近似方法，实现了对样本外泛化误差的快速且精确估计。该方法利用影响函数和理论保证，通过梯度下降优化正则化超参数，实现了与近似LOOCV相当的精度，同时将时间复杂度从O(n²)降低至O(n)。

ABSTRACT

We consider the parametric learning problem, where the objective of the learner is determined by a parametric loss function. Employing empirical risk minimization with possibly regularization, the inferred parameter vector will be biased toward the training samples. Such bias is measured by the cross validation procedure in practice where the data set is partitioned into a training set used for training and a validation set, which is not used in training and is left to measure the out-of-sample performance. A classical cross validation strategy is the leave-one-out cross validation (LOOCV) where one sample is left out for validation and training is done on the rest of the samples that are presented to the learner, and this process is repeated on all of the samples. LOOCV is rarely used in practice due to the high computational complexity. In this paper, we first develop a computationally efficient approximate LOOCV (ALOOCV) and provide theoretical guarantees for its performance. Then we use ALOOCV to provide an optimization algorithm for finding the regularizer in the empirical risk minimization framework. In our numerical experiments, we illustrate the accuracy and efficiency of ALOOCV as well as our proposed framework for the optimization of the regularizer.

研究动机与目标

• 解决大规模参数学习中留一法交叉验证（LOOCV）的高计算成本问题。
• 开发一种计算高效的LOOCV近似方法——ALOOCV，以保持对样本外风险估计的高精度。
• 基于ALOOCV实现正则化超参数与模型参数的联合梯度下降优化。
• 为ALOOCV提供理论依据，证明在正则条件下其渐近等价于Takeuchi信息准则（TIC）。
• 在逻辑回归和弹性网络等准光滑与非光滑正则化问题上展示其鲁棒性能。

提出的方法

• 提出ALOOCV作为LOOCV的一阶近似，利用影响函数推导，基于隐函数定理估计留一法变化。
• 使用定理1通过损失函数的梯度和正则化损失函数的Hessian矩阵，高效计算ALOOCV估计。
• 将ALOOCV估计器用于计算样本外风险关于正则化超参数的梯度，从而支持基于梯度的优化。
• 通过次梯度近似和光滑化技术，将框架扩展至处理非光滑正则项（如ℓ1）。
• 实现算法1和算法2用于超参数调优，其中算法2使用ALOOCV计算梯度以实现迭代优化。
• 在MNIST和CIFAR-10数据集上的逻辑回归与弹性网络回归任务中验证方法，将ALOOCV与精确LOOCV及影响函数近似进行比较。

实验结果

研究问题

• RQ1 能否推导出一种计算高效的LOOCV近似方法，使其在估计样本外泛化误差时保持高精度？
• RQ2 在真实世界数据集上，ALOOCV估计器与精确LOOCV及基于影响函数的近似相比，在精度和运行时间方面表现如何？
• RQ3 ALOOCV在多大程度上可支持正则化学习中正则化超参数的基于梯度的优化？
• RQ4 可以为ALOOCV建立哪些理论保证，特别是其与TIC等成熟信息准则的渐近等价性？
• RQ5 在弹性网络回归中，当存在ℓ1-范数等非光滑正则项时，ALOOCV的性能如何？

主要发现

• 在MNIST和CIFAR-10数据集上，ALOOCV与精确LOOCV性能几乎完全一致，95%的情况下CV向量与ACV向量的归一化差异在5%以内。
• 在MNIST上，ALOOCV对八个样本内损失异常值的估计与LOOCV的差异不超过0.24，而影响函数近似未能捕捉真实的样本外损失。
• 在逻辑回归中，ALOOCV每个样本耗时约1秒，而LOOCV需约60秒，使超参数调优的总运行时间从数天缩短至数小时。
• 在弹性网络回归中，ALOOCV在迭代过程中紧密跟随LOOCV，两种算法均在少于10次优化步骤内显著降低损失。
• ALOOCV的运行时间与n呈线性关系（O(n)），而LOOCV为二次关系（O(n²)），且随着样本量增加，运行时间比显著上升。
• 在正则条件下，ALOOCV与Takeuchi信息准则（TIC）渐近等价，验证了其理论基础。