[论文解读] Neural Architecture Search with Reinforcement Learning

Barret Zoph, Quoc V. Le|arXiv (Cornell University)|Nov 5, 2016

Machine Learning and Data Classification参考文献 45被引用 3,860

一句话总结

本论文提出使用循环控制器训练策略梯度（REINFORCE）进行神经架构搜索（NAS），以生成CNN和RNN架构；NAS在CIFAR-10和Penn Treebank上从零开始找到具有竞争力的模型。

ABSTRACT

Neural networks are powerful and flexible models that work well for many difficult learning tasks in image, speech and natural language understanding. Despite their success, neural networks are still hard to design. In this paper, we use a recurrent network to generate the model descriptions of neural networks and train this RNN with reinforcement learning to maximize the expected accuracy of the generated architectures on a validation set. On the CIFAR-10 dataset, our method, starting from scratch, can design a novel network architecture that rivals the best human-invented architecture in terms of test set accuracy. Our CIFAR-10 model achieves a test error rate of 3.65, which is 0.09 percent better and 1.05x faster than the previous state-of-the-art model that used a similar architectural scheme. On the Penn Treebank dataset, our model can compose a novel recurrent cell that outperforms the widely-used LSTM cell, and other state-of-the-art baselines. Our cell achieves a test set perplexity of 62.4 on the Penn Treebank, which is 3.6 perplexity better than the previous state-of-the-art model. The cell can also be transferred to the character language modeling task on PTB and achieves a state-of-the-art perplexity of 1.214.

研究动机与目标

• 推动自动化架构设计，减少人类专家在构建神经网络时的工作量和时间成本。
• 提出一个控制器RNN，其将架构超参数作为一系列标记(token)输出。
• 通过强化学习以验证准确度作为奖励来优化架构。
• 证明NAS能够从头产生具竞争力的卷积和循环架构。

提出的方法

• 使用控制器RNN将架构描述生成为一系列标记序列。
• 训练与生成的架构对应的子网络，并将其验证准确度作为奖励。
• 应用带基线的REINFORCE来训练控制器以最大化期望奖励。
• 通过基于注意力的输入采样，将跳跃连接和不同层类型扩展到搜索空间。
• 通过构建由控制器引导的计算树，将扩展用于生成循环单元。

实验结果

研究问题

• RQ1 控制器RNN能否在没有人工设计模板的情况下从头生成具有竞争力的卷积和循环架构？
• RQ2 强化学习是否能基于验证性能有效地优化架构生成？
• RQ3 跳跃连接和多样化的层类型如何影响NAS的性能？
• RQ4 NAS生成的循环单元在语言模型任务上能否超过标准LSTM？

主要发现

• 在CIFAR-10上，NAS发现的架构实现3.65%的测试误差，媲美强大的人工设计模型且比同类先前模型更快。
• 在Penn Treebank上，NAS发现了一个新的循环单元，困惑度为62.4，优于先前的RNN/LSTM基线。
• NAS生成的架构具备良好迁移性，在迁移实验中，NAS衍生的单元在PTB字符建模上达到1.214的困惑度。
• 更大、表达能力更强的NAS搜索（包括步幅与池化）带来进一步的性能提升，接近最先进的结果。
• 该NAS方法在图像和语言建模基准上均展示出竞争力的结果，且使用单一训练框架。