[论文解读] Optimizing for Generalization in Machine Learning with Cross-Validation Gradients

Shane Barratt, Rishi Sharma|arXiv (Cornell University)|May 18, 2018

Machine Learning and Data Classification被引用 5

一句话总结

本文提出交叉验证梯度（CVGM），一种可对逻辑回归、弹性网络和SVM等凸机器学习模型的超参数进行交叉验证损失梯度计算的方法。通过实现高维超参数空间中的基于梯度的优化，CVGM在泛化性能方面达到最先进水平，例如在仅60个样本的数据集上实现89.8%的测试准确率，并通过神经网络核实现端到端可微的特征学习。

ABSTRACT

Cross-validation is the workhorse of modern applied statistics and machine learning, as it provides a principled framework for selecting the model that maximizes generalization performance. In this paper, we show that the cross-validation risk is differentiable with respect to the hyperparameters and training data for many common machine learning algorithms, including logistic regression, elastic-net regression, and support vector machines. Leveraging this property of differentiability, we propose a cross-validation gradient method (CVGM) for hyperparameter optimization. Our method enables efficient optimization in high-dimensional hyperparameter spaces of the cross-validation risk, the best surrogate of the true generalization ability of our learning algorithm.

研究动机与目标

• 为解决机器学习模型泛化性能优化的挑战，由于真实数据分布不可用，难以直接测量该性能。
• 克服传统超参数调优方法将交叉验证视为黑箱的局限性，尤其在高维或复杂超参数空间中。
• 通过证明常见凸模型的交叉验证损失对超参数的可微性，实现基于梯度的超参数优化。
• 证明可微特征工程可通过交叉验证梯度实现端到端学习，减少对人工特征设计的依赖。
• 表明该方法在数据量有限的情况下仍具有良好的泛化能力，在低数据环境下优于标准基线方法。

提出的方法

• 通过利用隐函数定理，对交叉验证损失关于超参数进行微分，从而实现通过最优模型参数传播梯度。
• 在K折交叉验证中，对每折分别在训练子集上训练模型，并在验证子集上评估，损失在各折间聚合。
• 使用链式法则计算交叉验证损失的梯度，通过学习算法的最优解反向传播梯度。
• 该方法应用于逻辑回归、弹性网络和SVM等模型，其中最优解对超参数可微。
• 采用神经网络核作为可微的特征变换，其参数通过CVGM优化以提升泛化性能。
• 通过将逻辑回归层实现为可微模块，与PyTorch等深度学习框架集成，实现端到端反向传播。

实验结果

研究问题

• RQ1 在常见的凸机器学习模型中，交叉验证损失是否可对超参数实现可微？
• RQ2 基于梯度的超参数优化是否能有效提升低数据环境下的泛化性能？
• RQ3 是否可使用交叉验证梯度实现端到端可微的特征工程，从而替代人工特征设计？
• RQ4 在测试准确率和对数据稀缺的鲁棒性方面，CVGM与标准超参数调优和标准神经网络训练相比表现如何？
• RQ5 在高维超参数空间中使用梯度下降优化交叉验证损失会产生何种影响？

主要发现

• 对于逻辑回归、弹性网络和SVM等常见凸模型，交叉验证损失对超参数可微，从而支持基于梯度的优化。
• CVGM在仅含60个样本的数据集上达到89.8%的测试准确率，接近贝叶斯最优准确率89.4%。
• 在低数据环境（8–200个样本）下，CVGM优于标准两层神经网络和原始逻辑回归，尤其在样本少于50个时表现更优。
• 该方法仅用20个训练样本成功优化了322个超参数，证明了在高维超参数空间中的可扩展性。
• 神经网络核在约10次迭代后学习到一个流形，使数据近似线性可分，达到86.5%的测试准确率。
• 通过提前停止优化（100步），有效降低了过拟合，在数据量有限的场景中，全收敛反而导致泛化性能下降。