[论文解读] Neural Architecture Search with GBDT.

Renqian Luo, Xu Tan+4 more|arXiv (Cornell University)|Jul 9, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用 25

一句话总结

本文提出在神经架构搜索（NAS）中使用梯度提升决策树（GBDT）作为精度预测器，利用GBDT在处理表格化架构数据方面的优势，提升搜索效率与精度。通过结合基于GBDT的搜索空间剪枝与基于GBDT的架构预测，该方法实现了最先进性能，在ImageNet上达到23.5%的top-1错误率，在NASBench-101上实现0.18%的测试遗憾值。

ABSTRACT

Neural architecture search (NAS) with an accuracy predictor that predicts the accuracy of candidate architectures has drawn increasing interests due to its simplicity and effectiveness. Previous works employ neural network based predictors which unfortunately cannot well exploit the tabular data representations of network architectures. As decision tree-based models can better handle tabular data, in this paper, we propose to leverage gradient boosting decision tree (GBDT) as the predictor for NAS and demonstrate that it can improve the prediction accuracy and help to find better architectures than neural network based predictors. Moreover, considering that a better and compact search space can ease the search process, we propose to prune the search space gradually according to important features derived from GBDT using an interpreting tool named SHAP. In this way, NAS can be performed by first pruning the search space (using GBDT as a pruner) and then searching a neural architecture (using GBDT as a predictor), which is more efficient and effective. Experiments on NASBench-101 and ImageNet demonstrate the effectiveness of GBDT for NAS: (1) NAS with GBDT predictor finds top-10 architecture (among all the architectures in the search space) with $0.18\%$ test regret on NASBench-101, and achieves $24.2\%$ top-1 error rate on ImageNet; and (2) GBDT based search space pruning and neural architecture search further achieves $23.5\%$ top-1 error rate on ImageNet.

研究动机与目标

• 为解决神经网络基预测器在NAS中对神经架构表格化表示处理能力不足的问题。
• 通过利用GBDT在表格数据上的优异表现，提升预测精度与架构搜索效率。
• 开发一种结合基于GBDT的搜索空间剪枝与基于GBDT的架构预测的方法，以实现更高效的NAS。
• 通过GBDT的特征重要性与SHAP可解释性工具，有效缩减搜索空间。
• 通过在NASBench-101与ImageNet上的实验，证明GBDT在NAS中的有效性。

提出的方法

• 将梯度提升决策树（GBDT）作为神经架构搜索的精度预测器，利用其对架构表格化数据表示的建模能力。
• 使用SHAP（SHapley Additive exPlanations）从训练好的GBDT模型中提取特征重要性，以指导搜索空间剪枝。
• 通过逐步移除SHAP识别出的低重要性架构特征，实现搜索空间的渐进式剪枝，从而获得更紧凑高效的搜索空间。
• 将NAS分为两个阶段：首先使用GBDT作为剪枝器缩减搜索空间，然后使用GBDT作为预测器在精简后的空间中搜索架构。
• 在NAS基准数据集的已有精度数据上训练GBDT预测器，以预测候选架构的性能。
• 通过GBDT的特征重要性分析识别出高影响力的架构组件，从而优化搜索过程。

实验结果

研究问题

• RQ1 基于GBDT的预测器在神经架构搜索的精度预测方面是否优于神经网络基预测器？
• RQ2 基于GBDT的搜索空间剪枝是否能提升NAS的效率与效果？
• RQ3 结合基于GBDT的剪枝与预测是否能生成在基准数据集上表现更优的最终架构？
• RQ4 SHAP在识别NAS搜索空间中用于剪枝的重要架构特征方面有多有效？
• RQ5 与先前方法相比，基于GBDT的NAS在NASBench-101与ImageNet上能实现多大的性能提升？

主要发现

• 基于GBDT的NAS在NASBench-101上实现了0.18%的测试遗憾值，成功在搜索空间中识别出前10名架构。
• 仅使用GBDT作为预测器时，该方法在ImageNet上实现了24.2%的top-1错误率。
• 通过结合基于GBDT的搜索空间剪枝与基于GBDT的架构搜索，该方法在ImageNet上的top-1错误率降低至23.5%。
• 利用SHAP识别重要架构特征，实现了有效且渐进式的搜索空间剪枝，显著提升了搜索效率。
• 由于GBDT在处理表格化架构表示方面表现更优，其在精度预测方面优于神经网络基预测器。
• 两阶段方法（先剪枝后搜索）相比在完整空间中直接搜索，更加高效且有效。