[论文解读] Neural Networks Designing Neural Networks: Multi-Objective Hyper-Parameter Optimization

Sean C. Smithson, Guang Yang+2 more|arXiv (Cornell University)|Nov 7, 2016

Neural Networks and Applications参考文献 20被引用 18

一句话总结

本文提出了一种多目标神经架构搜索方法，利用元学习神经网络进行响应面建模，以预测性能与计算成本，从而实现对庞大超参数空间的高效探索。该方法仅通过100次迭代即达到近似Pareto最优解，在MNIST与CIFAR-10数据集上相比人工设计，将设计时间与实现成本降低了最多3倍。

ABSTRACT

Artificial neural networks have gone through a recent rise in popularity, achieving state-of-the-art results in various fields, including image classification, speech recognition, and automated control. Both the performance and computational complexity of such models are heavily dependant on the design of characteristic hyper-parameters (e.g., number of hidden layers, nodes per layer, or choice of activation functions), which have traditionally been optimized manually. With machine learning penetrating low-power mobile and embedded areas, the need to optimize not only for performance (accuracy), but also for implementation complexity, becomes paramount. In this work, we present a multi-objective design space exploration method that reduces the number of solution networks trained and evaluated through response surface modelling. Given spaces which can easily exceed 1020 solutions, manually designing a near-optimal architecture is unlikely as opportunities to reduce network complexity, while maintaining performance, may be overlooked. This problem is exacerbated by the fact that hyper-parameters which perform well on specific datasets may yield sub-par results on others, and must therefore be designed on a per-application basis. In our work, machine learning is leveraged by training an artificial neural network to predict the performance of future candidate networks. The method is evaluated on the MNIST and CIFAR-10 image datasets, optimizing for both recognition accuracy and computational complexity. Experimental results demonstrate that the proposed method can closely approximate the Pareto-optimal front, while only exploring a small fraction of the design space.

研究动机与目标

• 为解决在低功耗移动与嵌入式系统中手动设计神经网络的挑战，其中准确率与计算复杂度均至关重要。
• 通过在庞大且难以处理的设计空间中自动化超参数搜索，减少神经网络设计的时间与成本。
• 开发一种可扩展且数据高效的算法，近似Pareto最优前沿，而无需进行全面评估。
• 证明自动化设计可达到或超越人工设计的网络性能，同时显著降低实现成本。

提出的方法

• 使用神经网络训练响应面模型（RSM），以预测候选神经网络架构的准确率与计算成本。
• 通过设计空间探索（DSE）算法的新评估结果，迭代更新RSM，聚焦于有前景的区域，以减少不必要的训练。
• DSE算法利用RSM引导探索，优先选择预测性能高且复杂度低的架构。
• 在MNIST与CIFAR-10上使用MLP与CNN架构对方法进行评估，计算成本以乘加操作数建模。
• 监控RSM预测误差并用于自适应优化模型，最后95次迭代的平均误差降至0.35%。
• 即使在设计空间超过10^10个解的情况下，该算法仍能以极少的训练评估次数收敛至多样化Pareto最优前沿。

实验结果

研究问题

• RQ1 机器学习模型是否能在不进行完整训练的情况下，有效预测神经网络架构的性能与复杂度？
• RQ2 多目标设计空间探索方法在高维超参数空间中，能否高效收敛至接近最优的Pareto前沿？
• RQ3 自动化超参数搜索在准确率与实现成本方面，相较于人工设计能实现多大程度的超越？
• RQ4 响应面模型的准确性在迭代探索过程中如何演变，其对收敛性有何影响？

主要发现

• 在MNIST MLP设计空间中，该方法仅经过100次迭代，即实现与真实Pareto前沿平均5%的偏差（ADRS）。
• 在CIFAR-10 CNN设计空间中，该方法识别出实现成本比文献中人工设计网络低25%的架构，同时保持相当的准确率。
• RSM预测误差在最后95次迭代中平均降低至0.35%，表明性能预测具有高度可靠性。
• DSE算法在18小时内完成MNIST CNN设计，总网络评估次数仅为500次，结果与在受限子集上的穷举搜索相当。
• 该方法在大规模设计空间上表现出可扩展性，包括CIFAR-10 CNN中超过10^10种可能配置的情况，实现了高效的收敛。
• 该方法通过实现对复杂多目标设计空间的自动化、高保真探索，显著降低了非重复工程（NRE）成本与上市时间。