[论文解读] Open Loop Hyperparameter Optimization and Determinantal Point Processes

Jesse Dodge, Kevin Jamieson+1 more|arXiv (Cornell University)|Jun 6, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 25被引用 3

一句话总结

本文提出使用k-确定性点过程（k-DPPs）进行开环超参数优化，以相比均匀随机搜索提升超参数采样的多样性。通过采用一种新颖的梅特罗波利斯-黑斯廷斯算法，k-DPPs被适配至混合离散-连续及结构化搜索空间，在显著减少运行时间的同时，性能优于均匀采样，甚至在准确率上超越了顺序贝叶斯优化。

ABSTRACT

Driven by the need for parallelizable hyperparameter optimization methods, this paper studies \emph{open loop} search methods: sequences that are predetermined and can be generated before a single configuration is evaluated. Examples include grid search, uniform random search, low discrepancy sequences, and other sampling distributions. In particular, we propose the use of $k$-determinantal point processes in hyperparameter optimization via random search. Compared to conventional uniform random search where hyperparameter settings are sampled independently, a $k$-DPP promotes diversity. We describe an approach that transforms hyperparameter search spaces for efficient use with a $k$-DPP. In addition, we introduce a novel Metropolis-Hastings algorithm which can sample from $k$-DPPs defined over any space from which uniform samples can be drawn, including spaces with a mixture of discrete and continuous dimensions or tree structure. Our experiments show significant benefits in realistic scenarios with a limited budget for training supervised learners, whether in serial or parallel.

研究动机与目标

• 通过提升采样配置的多样性，解决均匀随机搜索在超参数优化中效率低下的问题。
• 实现可并行化的非独立同分布采样，支持开环超参数优化，提升收敛速度与模型性能。
• 为复杂搜索空间（包括混合离散-连续及树状结构维度）开发一种通用的k-DPP采样方法。
• 证明基于多样性的开环方法可在实际场景中超越最先进的顺序贝叶斯优化方法。

提出的方法

• 提出使用k-确定性点过程（k-DPPs）替代开环超参数搜索中的独立均匀采样，以促进多样性。
• 提出一种新颖的梅特罗波利斯-黑斯廷斯算法，实现对任意空间（包括混合离散-连续及树状结构搜索空间）的k-DPP采样。
• 对超参数搜索空间进行变换，使其与k-DPP兼容，确保在异质维度间有效促进多样性。
• 采用基于核函数的k-DPP（k-DPP-RBF），利用径向基函数核来建模超参数配置之间的相似性。
• 采用基于变换的方法，将复杂搜索空间映射为适合k-DPP采样的形式，同时保持多样性特性。
• 采用顺序评估框架，所有配置预先指定，实现完全并行化，消除反馈依赖。

实验结果

研究问题

• RQ1 k-DPP采样在合成与真实场景中是否能相比均匀随机搜索提升超参数优化性能？
• RQ2 在有限评估预算下，超参数采样中的多样性如何影响收敛速度与最终模型准确率？
• RQ3 k-DPP在准确率与运行时间方面，能多大程度上超越顺序贝叶斯优化方法（如Spearmint）？
• RQ4 k-DPP能否有效应用于混合维度及结构化超参数空间（如包含离散、连续及树状结构组件的空间）？
• RQ5 与自适应闭环方法相比，开环搜索中促进多样性是否能降低陷入局部最优的风险？

主要发现

• k-DPP-RBF采样在所有测试的超参数搜索空间中，均显著优于均匀随机搜索与Sobol序列的最优模型准确率。
• 在“Stable”搜索空间中，k-DPP-RBF在k=20时平均最佳准确率达到82.61%，优于批量Spearmint（82.65%）与顺序Spearmint（82.76%），且仅使用其1/10的运行时间。
• 顺序贝叶斯优化（Spearmint）平均耗时超过十倍，仅获得0.15%的准确率提升，优于k-DPP-RBF。
• k-DPP方法在合成与真实世界实验中均表现出一致的优越性，尤其在高影响力超参数区域表现更佳。
• 即使所有超参数均处于“稳定”范围内，k-DPP-RBF仍优于其他开环方法，表明多样性在行为良好的搜索空间中亦能提升性能。
• 梅特罗波利斯-黑斯廷斯算法实现了在复杂搜索空间上的有效k-DPP采样，验证了该方法的通用性与可扩展性。