[论文解读] Smart at what cost? Characterising Mobile Deep Neural Networks in the wild

Mário Almeida, Stefanos Laskaridis+4 more|arXiv (Cornell University)|Sep 28, 2021

Green IT and Sustainability参考文献 46被引用 5

一句话总结

本文提出 gaugeNN，一种用于自动化提取、基准测试和分析真实世界 Android 应用中深度神经网络（DNN）的工具。该研究对超过 16,000 款热门 Google Play 应用进行了分析，揭示了顶尖 DNN 研究与实际移动部署之间存在显著差距，大多数模型未能充分利用硬件加速器，且尽管存在能耗和延迟成本，仍主要依赖 CPU 进行推理。

ABSTRACT

With smartphones' omnipresence in people's pockets, Machine Learning (ML) on mobile is gaining traction as devices become more powerful. With applications ranging from visual filters to voice assistants, intelligence on mobile comes in many forms and facets. However, Deep Neural Network (DNN) inference remains a compute intensive workload, with devices struggling to support intelligence at the cost of responsiveness.On the one hand, there is significant research on reducing model runtime requirements and supporting deployment on embedded devices. On the other hand, the strive to maximise the accuracy of a task is supported by deeper and wider neural networks, making mobile deployment of state-of-the-art DNNs a moving target. In this paper, we perform the first holistic study of DNN usage in the wild in an attempt to track deployed models and match how these run on widely deployed devices. To this end, we analyse over 16k of the most popular apps in the Google Play Store to characterise their DNN usage and performance across devices of different capabilities, both across tiers and generations. Simultaneously, we measure the models' energy footprint, as a core cost dimension of any mobile deployment. To streamline the process, we have developed gaugeNN, a tool that automates the deployment, measurement and analysis of DNNs on devices, with support for different frameworks and platforms. Results from our experience study paint the landscape of deep learning deployments on smartphones and indicate their popularity across app developers. Furthermore, our study shows the gap between bespoke techniques and real-world deployments and the need for optimised deployment of deep learning models in a highly dynamic and heterogeneous ecosystem.

研究动机与目标

• 理解在多种 Android 设备上真实世界移动应用中 DNN 部署的当前状态。
• 识别尖端 DNN 研究与热门应用中实际模型部署实践之间的脱节。
• 测量在异构移动硬件上已部署 DNN 的运行时性能、延迟和能耗。
• 评估生产环境中模型优化技术、硬件加速器和云卸载的使用情况。
• 为开发者和框架设计者提供实用指南，以提升移动 DNN 的效率和可移植性。

提出的方法

• 开发了 gaugeNN，一种端到端的自动化工具链，用于从安装的 Android 应用中提取、分析和基准测试跨多种框架和平台的 DNN 模型。
• 对超过 16,000 款热门 Google Play 商店应用进行了静态和动态分析，采集了相隔 12 个月的两个时间点快照，以追踪趋势变化。
• 在涵盖多个层级和代际的多样化设备上，测量了推理延迟和能耗。
• 根据模型架构、层操作、量化、剪枝以及硬件加速器（如 NPU、DSP）的使用情况对 DNN 模型进行分类。
• 分析了向云 API 卸载的模式，并评估了在用户体验质量、隐私和成本之间的权衡。
• 评估了优化工具包（如 NNAPI、TFLite）的可用性和采用情况，及其对模型效率的影响。

实验结果

研究问题

• RQ1 真实世界移动应用在多大程度上部署了最先进的 DNN 架构和优化技术？
• RQ2 DNN 推理性能和能耗在不同设备层级和代际之间如何变化？
• RQ3 在已部署模型中，使用硬件加速器（如 NPU、DSP）与仅使用 CPU 的情况有多普遍？
• RQ4 DNN 推理的云卸载有多常见？其在延迟、隐私和成本方面的权衡是什么？
• RQ5 在过去一年中，DNN 在移动应用中的采用趋势如何？模型特性如何演变？

主要发现

• 超过 80% 的热门应用中已部署的 DNN 模型仅在 CPU 上运行，尽管存在 NPU 和 DSP 等专用加速器。
• 仅有 12% 的模型利用了硬件特定加速器，表明移动 SoC 能力存在显著未被利用的空间。
• 在 22% 的应用中使用了云卸载，虽能实现设备间一致的性能表现，但付出了隐私泄露和网络依赖的代价。
• 能耗已成为日益严重的问题，DNN 显著加剧了电池耗电，尤其在资源受限设备上更为明显。
• 多模型共存——即并行运行多个 DNN——正变得越来越普遍，对系统级资源管理带来了新挑战。
• 研究进展（如高效架构、量化）与实际部署之间存在明显差距，大多数应用仍在使用旧型或未充分优化的模型。