[论文解读] NeuNetS: An Automated Synthesis Engine for Neural Network Design

Atin Sood, Benjamin Elder+18 more|arXiv (Cornell University)|Jan 17, 2019

Advanced Neural Network Applications参考文献 76被引用 6

一句话总结

NeuNetS 是一种自动化的神经网络合成引擎，通过两阶段流程——粗粒度架构搜索与细粒度层优化——在数小时内为图像和文本任务设计出定制的、高精度的神经网络。它以显著减少的时间和专业知识，实现了与人类专家相当的性能，从而实现快速、可扩展的 AI 模型开发，且几乎无需人工干预。

ABSTRACT

Application of neural networks to a vast variety of practical applications is transforming the way AI is applied in practice. Pre-trained neural network models available through APIs or capability to custom train pre-built neural network architectures with customer data has made the consumption of AI by developers much simpler and resulted in broad adoption of these complex AI models. While prebuilt network models exist for certain scenarios, to try and meet the constraints that are unique to each application, AI teams need to think about developing custom neural network architectures that can meet the tradeoff between accuracy and memory footprint to achieve the tight constraints of their unique use-cases. However, only a small proportion of data science teams have the skills and experience needed to create a neural network from scratch, and the demand far exceeds the supply. In this paper, we present NeuNetS : An automated Neural Network Synthesis engine for custom neural network design that is available as part of IBM's AI OpenScale's product. NeuNetS is available for both Text and Image domains and can build neural networks for specific tasks in a fraction of the time it takes today with human effort, and with accuracy similar to that of human-designed AI models.

研究动机与目标

• 为满足对针对特定应用约束（如准确率和内存占用）定制的神经网络日益增长的需求。
• 通过自动化神经网络架构设计，减少对高技能数据科学家的依赖。
• 将 AI 模型的开发时间从数周或数月缩短至数小时，使定制化 AI 更加可及和可扩展。
• 使数据科学团队能够专注于模型微调而非架构设计，从而提升生产力和成本效益。

提出的方法

• NeuNetS 采用两阶段合成流程：粗粒度合成用于确定整体网络架构，包括深度、连接方式和层类型。
• 细粒度合成通过选择最优卷积滤波器并基于权重分布相似性剪除冗余连接，来优化单个神经元和连接。
• 采用高保真性能估计技术，可在无需完整训练的情况下准确预测模型准确率，从而绕过耗时的训练循环。
• 对神经网络进行剪枝，仅保留每个神经元的 N 个关键输入连接，随后将相似的权重变量合并到 k 个桶中，以减小模型大小。
• 剪枝和合并后对权重变量进行重新初始化，以保持输出行为不变，随后进行训练直至早停。
• 该框架基于数据集大小采用 GPU 预算分配策略，搜索与训练的组合预算分为低（2 小时）、中（5 小时）和高（16 小时）三种级别。

实验结果

研究问题

• RQ1 自动化系统是否能在远少于人类设计所需时间的情况下，构建出准确率与人工设计模型相当的神经网络？
• RQ2 两阶段合成方法——先进行粗粒度架构搜索，再进行细粒度层优化——在减小模型尺寸和提升效率方面的效果如何？
• RQ3 高保真性能估计在神经架构搜索过程中在多大程度上可以替代完整训练？
• RQ4 自动化神经网络合成能否有效应用于图像分类和文本分类等多样化领域？
• RQ5 剪枝、合并与重新初始化的整合在不牺牲准确率的前提下，如何提升模型效率？

主要发现

• NeuNetS 在 12 个图像分类基准上达到最先进或具有竞争力的准确率，包括在 MNIST 上 0.64% 的错误率和在 SVHN 上 3.37% 的错误率，耗时仅 16 个 GPU 小时。
• 在文本分类任务中，NeuNetS 在 Snips 上实现 0.00% 的错误率，在 SMS Spam 上实现 0.54% 的错误率，即使在小数据集上也表现出极高性能。
• 该框架将模型开发时间从数周或数月缩短至仅数小时，最大 GPU 预算为 16 小时（适用于大规模数据集）。
• 对于包含最多 10,000 个样本的数据集，NeuNetS 在 2 小时 GPU 预算内运行，且在多种任务中保持高准确率。
• 剪枝、权重合并与重新初始化的结合在减少参数数量并提升效率的同时，保持了模型的输出行为。
• NeuNetS 证明，结合高保真性能估计的自动化架构搜索可实现与人工设计模型相当的准确率，同时大幅减少对人工调优的依赖。