[论文解读] Revisiting the Train Loss: an Efficient Performance Estimator for Neural Architecture Search

Binxin Ru, Clare Lyle+3 more|arXiv (Cornell University)|May 4, 2021

Machine Learning and Data Classification参考文献 50被引用 11

一句话总结

该论文提出了一种简单、高效且无需模型的神经架构搜索（NAS）估计器，通过使用训练损失之和来预测最终测试性能。基于边际似然和随机梯度下降的洞察，该方法在仅50个周期内即在NAS-Bench201上实现了与测试准确率0.95的等级相关性，优于现有基线方法，且无需超参数调优或代理训练。

ABSTRACT

Reliable yet efficient evaluation of generalisation performance of a proposed architecture is crucial to the success of neural architecture search (NAS). Traditional approaches face a variety of limitations: training each architecture to completion is prohibitively expensive, early stopping estimates may correlate poorly with fully trained performance, and model-based estimators require large training sets. Instead, motivated by recent results linking training speed and generalisation with stochastic gradient descent, we propose to estimate the final test performance based on the sum of training losses. Our estimator is inspired by the marginal likelihood, which is used for Bayesian model selection. Our model-free estimator is simple, efficient, and cheap to implement, and does not require hyperparameter-tuning or surrogate training before deployment. We demonstrate empirically that our estimator consistently outperforms other baselines under various settings and can achieve a rank correlation of 0.95 with final test accuracy on the NAS-Bench201 dataset within 50 epochs.

研究动机与目标

• 为解决在神经架构搜索（NAS）中训练每个架构至收敛所带来的高计算成本问题。
• 克服早期停止估计与最终泛化性能之间相关性差的问题。
• 开发一种无需模型、高效且避免超参数调优和代理训练的估计器。
• 通过利用训练损失动态，提升NAS中架构评估的可靠性和速度。

提出的方法

• 该方法使用各周期训练损失之和作为泛化性能的代理指标。
• 其灵感来源于贝叶斯模型选择中的边际似然，将训练损失与模型质量相联系。
• 该估计器为无模型方法，无需训练独立的代理模型或调优超参数。
• 它直接作用于每个架构的训练轨迹，因此轻量化且可扩展。
• 该方法利用了在随机梯度下降下训练速度与泛化性能之间的经验关联。
• 通过聚合损失值而无需完整训练，实现了早期性能估计。

实验结果

研究问题

• RQ1 训练损失之和能否作为神经架构搜索中最终测试准确率的可靠代理？
• RQ2 与早期停止和基于模型的代理方法相比，该基于损失的估计器在与最终性能的相关性方面表现如何？
• RQ3 该估计器在极短训练时间（如50个周期内）内能达到多高的准确性？
• RQ4 该方法是否能在不同搜索空间和数据集（如NAS-Bench201）上泛化？
• RQ5 该估计器是否可无需超参数调优或先前的代理训练即可部署？

主要发现

• 所提出的估计器在NAS-Bench201数据集上仅用50个周期即实现了与最终测试准确率0.95的等级相关性。
• 在各种搜索设置下，其性能始终优于基线方法，包括早期停止和基于模型的估计器。
• 该方法计算高效，且无需超参数调优或代理模型训练。
• 即使仅训练少量周期，该估计器也表现出鲁棒性和有效性，展现出强大的早期预测能力。
• 该方法为无模型方法，可轻松部署于现有NAS流程中，无需对架构或训练过程进行修改。
• 结果证实了累积训练损失与最终泛化性能之间存在强烈的实证关联。