[论文解读] ScissionLite: Accelerating Distributed Deep Neural Networks Using Transfer Layer

Hyunho Ahn, Munkyu Lee+2 more|arXiv (Cornell University)|May 5, 2021

Advanced Neural Network Applications被引用 4

一句话总结

ScissionLite 是一种整体性框架，通过在 DNN 模型的最优切分点之间插入一个轻量级、流量感知的传输层（TL），加速工业物联网（IIoT）中的分布式深度神经网络（DNN）推理。TL 使用下采样/上采样网络在 IIoT 设备上压缩特征图，并在边缘节点上重建，以最小的精度损失显著减少网络流量，与本地推理相比延迟最高降低 16 倍，与最先进方法相比降低 2.8 倍。

ABSTRACT

Industrial Internet of Things (IIoT) applications can benefit from leveraging edge computing. For example, applications underpinned by deep neural networks (DNN) models can be sliced and distributed across the IIoT device and the edge of the network for improving the overall performance of inference and for enhancing privacy of the input data, such as industrial product images. However, low network performance between IIoT devices and the edge is often a bottleneck. In this study, we develop ScissionLite, a holistic framework for accelerating distributed DNN inference using the Transfer Layer (TL). The TL is a traffic-aware layer inserted between the optimal slicing point of a DNN model slice in order to decrease the outbound network traffic without a significant accuracy drop. For the TL, we implement a new lightweight down/upsampling network for performance-limited IIoT devices. In ScissionLite, we develop ScissionTL, the Preprocessor, and the Offloader for end-to-end activities for deploying DNN slices with the TL. They decide the optimal slicing point of the DNN, prepare pre-trained DNN slices including the TL, and execute the DNN slices on an IIoT device and the edge. Employing the TL for the sliced DNN models has a negligible overhead. ScissionLite improves the inference latency by up to 16 and 2.8 times when compared to execution on the local device and an existing state-of-the-art model slicing approach respectively.

研究动机与目标

• 解决在分布式 DNN 推理过程中 IIoT 网络上行链路带宽受限的瓶颈问题。
• 在不显著降低推理精度的前提下，减少 IIoT 设备与边缘服务器之间的数据传输量。
• 开发一种适用于计算受限 IIoT 设备的、流量感知的轻量级解决方案。
• 通过一种新型传输层实现模型切分的端到端优化，动态减少流量。
• 在真实网络条件下，对真实世界、生产级别的 DNN 进行框架验证。

提出的方法

• 引入一种传输层（TL）作为流量感知组件，插入到 DNN 切片之间，用于压缩和解压缩特征图。
• 设计一种轻量级的下采样/上采样神经网络作为 TL，专为低计算能力的 IIoT 设备优化。
• 开发 ScissionTL，一种基于 Scission 的工具，重新优化切分点，以考虑 TL 带来的流量减少。
• 使用预处理器生成并微调包含 TL 的 DNN 切片（TLModel），通过 SGD 微调恢复精度。
• 使用分发器将 DNN 切片以最小延迟部署在 IIoT 设备和边缘节点上。
• 在设备、边缘和云上进行实证基准测试，以确定不同网络条件下最优的切分点。

实验结果

研究问题

• RQ1 轻量级、集成化的传输层是否能在不造成显著精度下降的情况下减少分布式 DNN 推理中的数据传输？
• RQ2 在计算受限的 IIoT 环境中，引入 TL 如何影响最优切分点的选择？
• RQ3 与本地执行和现有模型切分方法相比，TL 在多大程度上提升了推理延迟？
• RQ4 在真实世界网络条件下，将 TL 应用于大型、生产级别的 DNN 时，其精度是否仍可接受？
• RQ5 该框架是否可泛化至不同 DNN 架构和网络带宽？

主要发现

• 与 IIoT 设备上的本地执行相比，ScissionLite 将推理延迟最高降低了 16 倍。
• 在相同条件下，与最先进模型切分方法相比，框架实现了 2.8 倍的加速。
• 由于 TL 导致的精度下降极小，Top-5 ImageNet 精度仅下降 0.9% 至 1.4%。
• 传输层引入的计算开销可忽略不计，使其适用于性能受限的 IIoT 设备。
• 即使在低带宽网络（如 30 Mbps）下，框架仍保持稳定性能，表现出对网络条件变化的鲁棒性。
• ScissionTL 识别出的切分点早于 Scission，这是由于数据流量减少，表明 TL 在流量感知优化中的有效性。