[论文解读] Split Computing and Early Exiting for Deep Learning Applications: Survey and Research Challenges

Yoshitomo Matsubara, Marco Levorato+1 more|arXiv (Cornell University)|Mar 8, 2021

Age of Information Optimization被引用 14

一句话总结

本文全面综述了用于优化移动和边缘设备上深度学习推理的拆分计算（SC）与早期退出（EE）技术。通过在移动设备与边缘节点之间划分DNN，或在中间层实现早期预测，SC与EE可显著降低延迟、能耗和带宽使用，同时保持高精度，尤其在动态网络条件下表现更优。

ABSTRACT

Mobile devices such as smartphones and autonomous vehicles increasingly rely on deep neural networks (DNNs) to execute complex inference tasks such as image classification and speech recognition, among others. However, continuously executing the entire DNN on mobile devices can quickly deplete their battery. Although task offloading to cloud/edge servers may decrease the mobile device's computational burden, erratic patterns in channel quality, network, and edge server load can lead to a significant delay in task execution. Recently, approaches based on split computing (SC) have been proposed, where the DNN is split into a head and a tail model, executed respectively on the mobile device and on the edge server. Ultimately, this may reduce bandwidth usage as well as energy consumption. Another approach, called early exiting (EE), trains models to embed multiple "exits" earlier in the architecture, each providing increasingly higher target accuracy. Therefore, the trade-off between accuracy and delay can be tuned according to the current conditions or application demands. In this paper, we provide a comprehensive survey of the state of the art in SC and EE strategies by presenting a comparison of the most relevant approaches. We conclude the paper by providing a set of compelling research challenges.

研究动机与目标

• 解决在智能手机和无人机等移动设备上运行大型DNN所面临的高计算与高能耗挑战。
• 克服将计算完全卸载至云端的局限性，后者受可变网络延迟和不可靠无线链路的影响。
• 综述并对比最先进的SC与EE技术，以识别在精度、延迟与能效之间实现平衡的有效策略。
• 识别在动态环境适应、阈值优化以及图像分类以外领域的广泛应用方面存在的关键研究挑战。
• 探索理论基础，如信息瓶颈理论，以更好地理解并指导SC与EE的设计。

提出的方法

• 拆分计算（SC）将DNN划分为头部（在移动设备上执行）与尾部（在边缘服务器上执行），从而减少数据传输与本地计算量。
• 早期退出（EE）在DNN中引入多个中间预测头（退出点），允许在置信度超过阈值时提前终止推理。
• 系统根据置信度分数动态决定是否继续推理或提前退出，从而在精度与延迟之间进行权衡。
• 技术包括使用多任务损失进行训练以优化早期退出，以及利用知识蒸馏技术保持性能。
• 本文分析了不同DNN与应用场景下退出点位置与模型划分等架构选择。
• 引入信息瓶颈理论的理论视角，分析DNN层中的压缩与信息保留特性。

实验结果

研究问题

• RQ1 如何有效结合拆分计算与早期退出，以在移动DNN推理中降低能耗与延迟？
• RQ2 SC与EE架构中，精度、延迟与能耗之间的关键设计权衡是什么？
• RQ3 如何在不依赖人工调优置信度阈值的前提下，优化早期退出的动态决策？
• RQ4 当前SC与EE方法在非计算机视觉领域（如可穿戴传感器的实时健康监测）中的局限性是什么？
• RQ5 信息瓶颈理论能否为分析与改进SC与EE性能提供原则性基础？

主要发现

• 高效检测模型EfficientDet-D7在NVIDIA Jetson Nano等嵌入式设备上运行需数秒，凸显优化的必要性。
• 移动端优化模型如MobileNetV2与MnasNet在ImageNet上相比更深的ResNet-152模型，精度损失最高达6.4%。
• 即使轻量级模型如SSD-MobileNetV2在COCO数据集上也仅达到20% mAP，且帧率为6 fps，表明速度与精度之间存在权衡。
• EE策略可通过在置信度高时提前终止推理，显著降低推理时间与能耗，尤其对简单输入效果更明显。
• 拆分计算通过仅卸载必要计算，减少带宽使用，从而在无线网络不稳定时提升性能。
• 理论框架如信息瓶颈理论表明，早期退出可能在早期阶段捕获足够信息，从压缩角度为SC与EE设计提供了合理性。