[论文解读] Random Search Hyper-Parameter Tuning: Expected Improvement Estimation and the Corresponding Lower Bound

Dan Navon, Alex Bronstein|arXiv (Cornell University)|Aug 17, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文提出了一种统计上严谨的方法，用于估计在随机超参数搜索中额外一次迭代所能带来的预期准确率提升，利用Dvoretzky–Kiefer–Wolfowitz（DKW）不等式，以高概率将估计误差控制在 $ O\left(\sqrt{\frac{\log k}{k}}\right) $ 以内。此外，本文建立了最佳可能均方误差的理论下界 $ \Omega\left(\frac{\alpha^2 f_X(\alpha)}{k}\right) $，这是首个针对随机搜索超参数调优的此类下界。

ABSTRACT

Hyperparameter tuning is a common technique for improving the performance of neural networks. Most techniques for hyperparameter search involve an iterated process where the model is retrained at every iteration. However, the expected accuracy improvement from every additional search iteration, is still unknown. Calculating the expected improvement can help create stopping rules for hyperparameter tuning and allow for a wiser allocation of a project's computational budget. In this paper, we establish an empirical estimate for the expected accuracy improvement from an additional iteration of hyperparameter search. Our results hold for any hyperparameter tuning method which is based on random search \cite{bergstra2012random} and samples hyperparameters from a fixed distribution. We bound our estimate with an error of $O\left(\sqrt{\frac{\log k}{k}} ight)$ w.h.p. where $k$ is the current number of iterations. To the best of our knowledge this is the first bound on the expected gain from an additional iteration of hyperparameter search. Finally, we demonstrate that the optimal estimate for the expected accuracy will still have an error of $\frac{1}{k}$.

研究动机与目标

• 估计在随机搜索中额外一次超参数搜索迭代所能带来的预期准确率提升。
• 为在固定超参数分布下采用随机搜索时的预期提升估计器提供高概率误差界。
• 建立任何此类估计器的最佳可能估计误差的理论下界。
• 通过量化收益递减规律，实现基于数据的超参数调优停止规则。
• 解决神经网络超参数调优中计算预算分配缺乏标准的问题。

提出的方法

• 使用Dvoretzky–Kiefer–Wolfowitz（DKW）不等式，非参数地估计从 $ k $ 次随机超参数试验中获得的模型准确率的累积分布函数 $ \widehat{F}_X $。
• 通过经验分布函数的逆函数估计预期提升，避免直接进行密度估计。
• 推导出在高概率下，预期提升估计器的误差界为 $ O\left(\sqrt{\frac{\log k}{k}}\right) $。
• 通过界定 $ I(\widehat{\mu}, \widehat{\sigma}, \alpha) $ 与 $ I(\mu, \sigma, \alpha) $ 之间的期望偏差，分析最优估计器的估计误差，其中 $ I $ 是均值和标准差的凸函数。
• 应用集中不等式和卡方分布的性质，推导出任何估计器的均绝对误差的下界。
• 证明在正态性假设下，最佳估计器的误差无法优于 $ \Omega\left(\frac{\alpha^2 f_X(\alpha)}{k}\right) $。

实验结果

研究问题

• RQ1 一次额外的随机超参数搜索迭代所能带来的模型准确率的预期提升是多少？
• RQ2 如何仅使用 $ k $ 次先前评估结果，以有界误差估计该预期提升？
• RQ3 任何用于随机搜索中预期提升的估计器，其均绝对误差的最紧可能下界是什么？
• RQ4 估计误差能否以高概率表示为迭代次数 $ k $ 的函数？
• RQ5 估计误差如何随 $ k $ 变化，此类估计器的精度根本极限是什么？

主要发现

• 在高概率下，额外一次随机搜索迭代所带来的预期提升可被估计，其误差为 $ O\left(\sqrt{\frac{\log k}{k}}\right) $。
• 最佳可能估计器的均绝对误差下界为 $ \frac{\sigma^2}{2\sqrt{2\pi}k} \cdot \left[1 - F_X(\alpha)\right] $。
• 当 $ \alpha \geq \mu + \sqrt{\frac{3}{2}}\sigma $ 时，下界提升至 $ \Omega\left(\frac{\alpha^2 f_X(\alpha)}{k}\right) $。
• 估计误差无法优于 $ \frac{1}{k} $，确立了此类估计器精度的根本极限。
• 所提出的估计器为非参数方法，无需对底层准确率分布 $ f_X $ 做任何假设。
• 本研究为计算预算有限的超参数调优提供了自适应停止规则的理论基础。