[论文解读] Safe Grid Search with Optimal Complexity

Eugène Ndiaye, Tam Le+3 more|arXiv (Cornell University)|Oct 12, 2018

Sparse and Compressive Sensing Techniques参考文献 36被引用 7

一句话总结

本文提出了一种用于机器学习超参数调优的安全网格搜索算法，通过以全局收敛性保证近似正则化路径，实现了最优复杂度。该方法利用损失函数的曲率特性——如逻辑回归中的广义自协融性及最小二乘法中的强凸性——确保验证误差在最优值的ε范围内，同时自动校准训练优化的容差，无需手动设定停止标准。

ABSTRACT

Popular machine learning estimators involve regularization parameters that can be challenging to tune, and standard strategies rely on grid search for this task. In this paper, we revisit the techniques of approximating the regularization path up to predefined tolerance $ε$ in a unified framework and show that its complexity is $O(1/\sqrt[d]ε)$ for uniformly convex loss of order $d \geq 2$ and $O(1/\sqrtε)$ for Generalized Self-Concordant functions. This framework encompasses least-squares but also logistic regression, a case that as far as we know was not handled as precisely in previous works. We leverage our technique to provide refined bounds on the validation error as well as a practical algorithm for hyperparameter tuning. The latter has global convergence guarantee when targeting a prescribed accuracy on the validation set. Last but not least, our approach helps relieving the practitioner from the (often neglected) task of selecting a stopping criterion when optimizing over the training set: our method automatically calibrates this criterion based on the targeted accuracy on the validation set.

研究动机与目标

• 为解决高维设置下精确正则化路径算法因指数复杂度和数值问题导致的低效与不稳定问题。
• 在机器学习中常见的通用正则性假设下，提供一种统一框架，用于近似解路径与验证路径。
• 通过基于目标验证精度自动校准训练优化停止标准，消除手动选择停止标准的需求。
• 将现有近似路径方法扩展至此前难以处理的场景，如逻辑回归和广义自协融函数。
• 提供一种具有全局收敛保证的实用算法，用于选择与最优验证误差εv距离在εv范围内的超参数。

提出的方法

• 通过利用损失函数的曲率特性，特别是d ≥ 2阶的广义自协融性与强凸性，采用统一框架近似正则化路径。
• 推导出对于d ≥ 2阶强凸损失的复杂度界为O(1/√[d]ε)，对于逻辑回归等广义自协融函数的复杂度界为O(1/√ε)。
• 构建验证误差关于正则化参数的上下界，从而实现对候选参数的安全区间估计。
• 基于目标验证精度εv，引入训练优化的停止标准，确保仅在达到足够精度时才终止训练。
• 采用基于理论边界的自适应单边与双边网格细化策略，最小化网格点数量，同时保持εv精度。
• 利用对偶性与Fenchel共轭，将验证误差差距表示为对偶变量的函数，从而高效计算每个候选值周围的可靠区间。

实验结果

研究问题

• RQ1 能否在包括逻辑回归在内的广泛机器学习问题中，优化近似正则化路径的复杂度？
• RQ2 如何在最小化网格点数量的同时，以保证精度εv近似验证误差路径？
• RQ3 在广义自协融与强凸损失函数下，安全网格搜索的理论复杂度是多少？
• RQ4 能否基于期望的验证精度自动校准训练优化的停止标准，从而消除手动调参？
• RQ5 与glmnet或sklearn中的默认网格相比，该方法在计算成本与精度方面实际表现如何？

主要发现

• 所提算法对d ≥ 2阶强凸损失实现O(1/√[d]ε)复杂度，对逻辑回归等广义自协融函数实现O(1/√ε)复杂度，优于先前的O(1/ε)界。
• 对于逻辑回归，该方法首次在广义自协融性假设下，提供了具有显式复杂度与最优性保证的近似路径，此前该情形缺乏精确处理。
• 算法输出一组离散参数，使得对应模型误差在最优验证误差的εv范围内，如命题8所形式化。
• 该方法自动判断何时停止训练优化：当对偶间隙低于εv,μ时，确保进一步训练不会改善验证性能。
• 在白血病与气候数据集上的数值实验表明，相比glmnet与sklearn中使用的默认网格，该方法显著提升了计算效率并实现了更优的路径近似。
• 即使在非凸与非光滑的验证误差景观中，该算法仍能收敛至验证误差的全局最小值，如在合成Elastic Net问题上的实验所示。