[论文解读] Resource-Efficient Neural Architect

Yanqi Zhou, Siavash Ebrahimi+4 more|arXiv (Cornell University)|Jun 12, 2018

Multimodal Machine Learning Applications被引用 29

一句话总结

RENA 是一种基于强化学习的神经架构搜索框架，利用网络嵌入技术高效探索资源受限的神经网络架构。在模型参数量小于300万（<3M parameters）且计算强度大于100 FLOPs/byte的严格约束下，其在 CIFAR-10 上实现了 2.95% 的测试误差，在 Google Speech Commands 上实现了 93.65% 的准确率，展示了样本高效的、硬件感知的神经架构搜索能力，达到当前最优性能。

ABSTRACT

Neural Architecture Search (NAS) is a laborious process. Prior work on automated NAS targets mainly on improving accuracy, but lacks consideration of computational resource use. We propose the Resource-Efficient Neural Architect (RENA), an efficient resource-constrained NAS using reinforcement learning with network embedding. RENA uses a policy network to process the network embeddings to generate new configurations. We demonstrate RENA on image recognition and keyword spotting (KWS) problems. RENA can find novel architectures that achieve high performance even with tight resource constraints. For CIFAR10, it achieves 2.95% test error when compute intensity is greater than 100 FLOPs/byte, and 3.87% test error when model size is less than 3M parameters. For Google Speech Commands Dataset, RENA achieves the state-of-the-art accuracy without resource constraints, and it outperforms the optimized architectures with tight resource constraints.

研究动机与目标

• 弥合神经架构搜索（NAS）中过度关注准确率而忽视计算资源效率的差距。
• 开发一种自动化 NAS 框架，能够在模型大小、计算复杂度和计算强度等严格硬件约束下生成高性能模型。
• 通过利用网络嵌入和策略梯度方法，实现样本高效的搜索，仅需极少的训练迭代即可引导架构搜索。
• 将可解释的硬件指标整合到奖励函数中，使 NAS 结果与边缘设备上的实际部署需求保持一致。

提出的方法

• 使用学习得到的基于 LSTM 的编码器，将神经网络架构表示为嵌入向量，以捕捉其结构与运行特性。
• 通过策略网络，基于对网络嵌入应用离散操作（插入、删除、缩放）来生成新架构。
• 修改奖励函数，对违反资源约束（模型大小、FLOPs、计算强度）的行为施加惩罚，从而实现对硬件效率的直接优化。
• 使用经验回放和每轮包含 10 个子模型的批量更新策略，通过 Adam 优化算法训练控制器。
• 从一个小型基线架构开始，逐步优化，避免随机或无指导的探索。
• 采用共享搜索空间，预定义层类型与超参数，实现系统化且可解释的架构搜索。

实验结果

研究问题

• RQ1 基于强化学习的 NAS 框架能否在严格限制模型大小与计算强度的条件下，高效发现高准确率的神经网络架构？
• RQ2 相较于随机搜索或穷举搜索，网络嵌入在实现样本高效架构搜索方面有多大的有效性？
• RQ3 奖励函数在多大程度上可被修改，以整合可解释的硬件指标（如 FLOPs/byte、参数数量），从而引导搜索向可部署模型方向发展？
• RQ4 在资源受限场景下，尤其在边缘设备上，该框架能否超越人工设计与手工优化的架构？
• RQ5 在真实任务中，搜索性能在不同约束类型（如仅大小限制、仅计算强度限制、联合约束）下的表现如何变化？

主要发现

• 在 CIFAR-10 上，RENA 在计算强度 >100 FLOPs/byte 的条件下实现 2.95% 的测试误差，在模型大小 <3M 参数的条件下实现 3.87% 的测试误差，充分证明其在严苛约束下的强大性能。
• 在 Google Speech Commands 的关键词语音识别任务中，RENA 在模型大小 <0.1M 参数且计算强度 >10 FLOPs/byte 的条件下，实现 93.65% 的测试准确率，优于手工优化的基线模型。
• 在无约束条件下，RENA 发现了准确率达 95.81% 的最先进模型，该模型采用深度可分离卷积与 GRU 结构，证实其能够匹配甚至超越人工设计的模型。
• 该框架在总共仅搜索 500 个模型的情况下，就在 CIFAR-10 上实现了 >95% 的准确率，相较于随机搜索或标准 NAS 方法，展现出极高的样本效率。
• 联合约束（如小模型大小与高计算强度）导致生成的架构以大通道数的 2D 卷积为主，与硬件效率目标高度一致。
• 通过使用惩罚约束违规行为的改进型奖励函数，框架能够有效探索可行且可部署的架构，而随机搜索在 400 次尝试内无法同时满足双重约束。