[论文解读] Parallel Architecture and Hyperparameter Search via Successive Halving and Classification

M. N. Anil Kumar, George E. Dahl+2 more|arXiv (Cornell University)|May 25, 2018

Machine Learning and Data Classification参考文献 39被引用 15

一句话总结

该论文提出SHAC，一种简单而高效的并行黑箱优化算法，通过级联二分类器迭代剪枝搜索空间中无产出的区域。SHAC在超参数和神经网络架构搜索中表现优于随机搜索（预算加倍）以及NAS-PPO等竞争基线方法，且无需超参数调优，同时保持候选解的高多样性。

ABSTRACT

We present a simple and powerful algorithm for parallel black box optimization called Successive Halving and Classification (SHAC). The algorithm operates in $K$ stages of parallel function evaluations and trains a cascade of binary classifiers to iteratively cull the undesirable regions of the search space. SHAC is easy to implement, requires no tuning of its own configuration parameters, is invariant to the scale of the objective function and can be built using any choice of binary classifier. We adopt tree-based classifiers within SHAC and achieve competitive performance against several strong baselines for optimizing synthetic functions, hyperparameters and architectures.

研究动机与目标

• 开发一种鲁棒的、并行的黑箱优化算法，无需超参数调优，并可扩展至高维搜索空间。
• 通过系统性地剪枝性能差的搜索区域，同时保持候选解的多样性，超越当前表现强劲的基线方法——随机搜索。
• 实现在真实机器学习应用中高效且实用的神经架构与超参数搜索。
• 为未来自动化机器学习与神经架构搜索研究提供一种简单、可复用的基线方法。

提出的方法

• SHAC 在 K 个阶段中运行，每个阶段使用二分类器根据性能筛选掉一半候选点。
• 该算法维护一个包含 K 个二分类器的级联结构，每个分类器基于前一阶段的结果进行训练，逐步将搜索空间缩小至原始大小的 1/2^K。
• 在最后一个分类器之后，通过拒绝采样从剩余区域中选择候选解，确保多样性。
• 该方法对目标函数的尺度具有不变性，可与任意二分类器结合使用，推荐使用梯度提升树以保证简单性和一致性。
• SHAC 支持在每个阶段并行评估候选点，从而高效利用计算资源。
• 该方法将黑箱优化问题视为分类问题而非回归问题，重点在于区分高性能与低性能区域。

实验结果

研究问题

• RQ1 一个简单且无需调参的算法是否能在超参数与架构搜索中超越随机搜索及现有 NAS 方法？
• RQ2 SHAC 在迭代剪枝过程中如何保持候选解的多样性？
• RQ3 SHAC 的性能在不同规模的搜索空间和目标函数下可扩展到何种程度？
• RQ4 当代理目标（如早期训练准确率）与最终目标弱相关时，SHAC 的有效性如何？
• RQ5 SHAC 是否可作为自动化机器学习研究中一种实用且鲁棒的基线？

主要发现

• 在 CIFAR-10 和 CIFAR-100 的超参数调优任务中，SHAC 显著优于 RS-2X（预算加倍的随机搜索），实现了更高的验证准确率。
• 在架构搜索任务中，SHAC 与 NAS-PPO 表现相当，优于 RS-2X，并在不同数据集上展现出强大的泛化能力。
• 在 CIFAR-10 上，SHAC 经过 300 个周期后达到 95.91% 的测试准确率，优于 NAS-PPO 的 95.87% 和 RS 的 95.67%。
• 在 CIFAR-100 上，SHAC 达到 79.80% 的测试准确率，优于 NAS-PPO（79.93%）和 RS（79.59%）。
• 成对汉明距离直方图显示，SHAC 和随机搜索生成的候选短名单多样性高于 NAS-PPO，其峰值向右偏移了 10 个单位。
• 尽管早期（代理）指标与最终（真实）指标之间相关性较弱，SHAC 仍保持强劲性能，表明其对噪声或不可靠代理目标具有鲁棒性。