[论文解读] SwiftNet: Using Graph Propagation as Meta-knowledge to Search Highly Representative Neural Architectures

Hsin-Pai Cheng, Tunhou Zhang+6 more|arXiv (Cornell University)|Jun 19, 2019

Advanced Neural Network Applications参考文献 36被引用 8

一句话总结

本文提出 GRAM（GRAph propagation as Meta-knowledge），一种新颖的神经架构搜索方法，通过元图在搜索迭代过程中累积学习到的知识，实现在庞大架构空间中的高效且灵活的搜索。通过将固定单元结构替换为基于节点的搜索，并引入结构级剪枝，GRAM 发现的 SwiftNet 模型在 ImageNet-1K 上达到 63.28% 的 top-1 准确率，仅使用 53M MACs 和 2.07M 参数，其准确率密度比 MobileNet-V2 高 2.15 倍，搜索成本比 FBNet 低 26 倍。

ABSTRACT

Designing neural architectures for edge devices is subject to constraints of accuracy, inference latency, and computational cost. Traditionally, researchers manually craft deep neural networks to meet the needs of mobile devices. Neural Architecture Search (NAS) was proposed to automate the neural architecture design without requiring extensive domain expertise and significant manual efforts. Recent works utilized NAS to design mobile models by taking into account hardware constraints and achieved state-of-the-art accuracy with fewer parameters and less computational cost measured in Multiply-accumulates (MACs). To find highly compact neural architectures, existing works relies on predefined cells and directly applying width multiplier, which may potentially limit the model flexibility, reduce the useful feature map information, and cause accuracy drop. To conquer this issue, we propose GRAM(GRAph propagation as Meta-knowledge) that adopts fine-grained (node-wise) search method and accumulates the knowledge learned in updates into a meta-graph. As a result, GRAM can enable more flexible search space and achieve higher search efficiency. Without the constraints of predefined cell or blocks, we propose a new structure-level pruning method to remove redundant operations in neural architectures. SwiftNet, which is a set of models discovered by GRAM, outperforms MobileNet-V2 by 2.15x higher accuracy density and 2.42x faster with similar accuracy. Compared with FBNet, SwiftNet reduces the search cost by 26x and achieves 2.35x higher accuracy density and 1.47x speedup while preserving similar accuracy. SwiftNetcan obtain 63.28% top-1 accuracy on ImageNet-1K with only 53M MACs and 2.07M parameters. The corresponding inference latency is only 19.09 ms on Google Pixel 1.

研究动机与目标

• 解决固定单元结构和宽度乘数法 NAS 方法导致的模型灵活性降低及紧凑模型中特征表示退化的问题。
• 通过在搜索迭代中保留学习到的知识，克服传统 NAS 方法效率低下和适应性差的缺陷。
• 通过灵活且资源感知的搜索空间，实现高精度、低延迟的神经架构，适用于边缘设备。
• 开发一种方法，使学习到的架构可直接结构化适配新任务，而无需微调。
• 在最小化计算成本（MACs）和模型大小的前提下，实现卓越的准确率密度和推理速度。

提出的方法

• 将神经架构搜索建模为完整计算 DAG 中的子-DAG 选择问题，其中操作为节点，张量流动为边。
• 引入基于节点的搜索策略，将每次搜索迭代中学习到的知识累积到一个动态元图中，实现知识的保留与复用。
• 使用 Gibbs 采样迭代更新元图，实现对约 10^63 量级搜索空间的高效探索。
• 提出结构级剪枝，通过移除元图中低权重的边来生成资源感知模型，替代传统的宽度缩放方法。
• 利用训练好的元图直接生成适用于不同任务的新架构，无需微调，实现结构化可适配性。
• 对元图应用通道上采样，以在适配更复杂任务时防止欠拟合。

实验结果

研究问题

• RQ1 能否通过在迭代搜索中累积知识的元图，提升神经架构搜索的效率和模型性能？
• RQ2 将固定单元结构替换为基于节点的搜索策略，是否能提升架构灵活性并实现更高的准确率密度？
• RQ3 结构级剪枝在准确率和延迟方面是否优于传统的基于宽度乘数的压缩方法？
• RQ4 预训练的元图在无需额外微调的情况下，能在多大程度上实现对新任务的结构化适配？
• RQ5 所提方法能否在最小化 MACs 和参数量的同时，实现最先进的准确率密度和推理速度？

主要发现

• SwiftNet 在 ImageNet-1K 上仅使用 53M MACs 和 2.07M 参数，便实现了 63.28% 的 top-1 准确率，创下紧凑模型的新基准。
• SwiftNet 在准确率密度上比 MobileNet-V2 高 2.15 倍，在相似准确率下推理延迟快 2.42 倍。
• SwiftNet 的搜索成本比 FBNet 低 26 倍，同时保持相近的准确率，并实现 1.47 倍更低的延迟。
• 在 Google Pixel 1 上，SwiftNet 在 96×96 输入尺寸下实现 19.09ms 的推理延迟，证明其在边缘设备上具备实时性能。
• 元图支持直接结构化适配新任务——在无需微调的情况下，MNIST 上达到 99.24% 准确率，SVHN 上达到 94.95%，Fashion MNIST 上达到 93.56%。
• 多线程推理在 SwiftNet 上实现约 2 倍速度提升，得益于三个 DAG 的并行计算，凸显了高效的硬件利用率。