[论文解读] Ordering Chaos: Memory-Aware Scheduling of Irregularly Wired Neural Networks for Edge Devices

Byung Hoon Ahn, Jinwon Lee+4 more|arXiv (Cornell University)|Mar 4, 2020

Advanced Neural Network Applications被引用 16

一句话总结

本文提出了一种面向边缘设备上不规则连接神经网络的内存感知调度框架，通过基于图签名的子路径重用与自适应软预算机制，结合动态规划以最小化峰值内存占用。与TensorFlow Lite相比，内存使用量降低1.86倍，片外通信量减少1.76倍，且额外编译时间不足一分钟。

ABSTRACT

Recent advances demonstrate that irregularly wired neural networks from Neural Architecture Search (NAS) and Random Wiring can not only automate the design of deep neural networks but also emit models that outperform previous manual designs. These designs are especially effective while designing neural architectures under hard resource constraints (memory, MACs, . . . ) which highlights the importance of this class of designing neural networks. However, such a move creates complication in the previously streamlined pattern of execution. In fact one of the main challenges is that the order of such nodes in the neural network significantly effects the memory footprint of the intermediate activations. Current compilers do not schedule with regard to activation memory footprint that it significantly increases its peak compared to the optimum, rendering it not applicable for edge devices. To address this standing issue, we present a memory-aware compiler, dubbed SERENITY, that utilizes dynamic programming to find a sequence that finds a schedule with optimal memory footprint. Our solution also comprises of graph rewriting technique that allows further reduction beyond the optimum. As such, SERENITY achieves optimal peak memory, and the graph rewriting technique further improves this resulting in 1.68x improvement with dynamic programming-based scheduler and 1.86x with graph rewriting, against TensorFlow Lite with less than one minute overhead.

研究动机与目标

• 解决在内存受限的边缘设备上部署不规则连接神经网络时面临的高内存峰值占用问题。
• 实现高精度、NAS生成的非规则连接模型在边缘硬件上的部署。
• 设计一种可扩展的调度算法，以最小化推理过程中的激活内存使用量。
• 通过动态规划与自适应预算机制，克服搜索空间的不可解性。
• 引入身份图重写技术，进一步降低内存占用，同时保持模型行为不变。

提出的方法

• 利用图的属性为部分调度中的重复子路径生成唯一签名，实现基于动态规划的优化。
• 将运行时内存使用量嵌入子路径签名中，以指导内存感知的调度决策。
• 实现自适应软预算——一种轻量级元搜索机制，用于寻找在解质量与编译时间之间取得平衡的最优内存预算。
• 应用基于自适应预算的剪枝策略进行动态规划，以减少搜索空间，同时不损失最优性。
• 设计一种身份图重写技术，重构计算图以暴露更优的调度机会，同时保持数学等价性。
• 将动态规划、自适应预算与图重写技术整合为统一的编译流水线，用于边缘设备部署。

实验结果

研究问题

• RQ1 如何有效将动态规划应用于具有内存约束的不规则连接神经网络调度？
• RQ2 在大规模图中，面对指数级搜索空间，哪些技术可使内存感知调度变得可行？
• RQ3 自适应软预算能否识别出最优内存预算，以在确保可行解的同时最小化编译时间？
• RQ4 身份图重写在不改变模型功能的前提下，能在多大程度上减少峰值内存占用？
• RQ5 与TensorFlow Lite等现有框架相比，所提技术在内存效率与编译开销方面表现如何？

主要发现

• 所提框架在代表性不规则网络上相比TensorFlow Lite将峰值内存占用降低了1.86倍。
• 片外内存通信量减少1.76倍，提升了能效与带宽利用率。
• 平均编译时间增加不足一分钟，使该方法在实际部署中具备可行性。
• 自适应软预算成功识别出近似最优的内存预算，避免了不可行调度与过长的编译时间。
• 身份图重写通过重构计算图以优先降低内存使用，实现了额外的内存节省。
• 结合子路径签名重用与自适应预算的动态规划方法，可在大规模不规则图中实现可扩展的近似最优调度。