[论文解读] Which Design Decisions in AI-enabled Mobile Applications Contribute to Greener AI?

Roger Creus Castanyer, Silverio Martínez‐Fernández+1 more|arXiv (Cornell University)|Sep 28, 2021

IoT and Edge/Fog Computing被引用 6

一句话总结

本研究探讨了人工智能增强型移动应用中设计决策对能效和性能的影响，发现模型复杂度（尤其是参数数量）在卷积神经网络中会呈指数级增加CPU使用率，而准确率却未相应成比例提升。作者建议从小型模型开始，仅在必要时才进行扩展，并通过在移动平台上系统性实验验证了性能分析工具在推动绿色人工智能方面的有效性。

ABSTRACT

Background: The construction, evolution and usage of complex artificial intelligence (AI) models demand expensive computational resources. While currently available high-performance computing environments support well this complexity, the deployment of AI models in mobile devices, which is an increasing trend, is challenging. Mobile applications consist of environments with low computational resources and hence imply limitations in the design decisions during the AI-enabled software engineering lifecycle that balance the trade-off between the accuracy and the complexity of the mobile applications. Objective: Our objective is to systematically assess the trade-off between accuracy and complexity when deploying complex AI models (e.g. neural networks) to mobile devices, which have an implicit resource limitation. We aim to cover (i) the impact of the design decisions on the achievement of high-accuracy and low resource-consumption implementations; and (ii) the validation of profiling tools for systematically promoting greener AI. Method: This confirmatory registered report consists of a plan to conduct an empirical study to quantify the implications of the design decisions on AI-enabled applications performance and to report experiences of the end-to-end AI-enabled software engineering lifecycle. Concretely, we will implement both image-based and language-based neural networks in mobile applications to solve multiple image classification and text classification problems on different benchmark datasets. Overall, we plan to model the accuracy and complexity of AI-enabled applications in operation with respect to their design decisions and will provide tools for allowing practitioners to gain consciousness of the quantitative relationship between the design decisions and the green characteristics of study.

研究动机与目标

• 系统评估人工智能增强型移动应用中模型准确率与计算复杂度之间的权衡。
• 识别人工智能模型架构与配置中的哪些设计决策会导致更高的资源消耗和更低的能效。
• 验证性能分析工具在监控和优化移动设备上人工智能应用性能方面的有效性。
• 通过指导开发人员选择轻量化、高效模型，在不牺牲必要准确率的前提下，推动绿色人工智能。
• 为未来移动人工智能效率研究提供一个开放、可复现的数据集和方法论。

提出的方法

• 使用Android Studio和Unity3D在移动平台上实现用于图像和文本分类的神经网络。
• 在六个基准数据集上训练模型：GTSRB、MNIST、CIFAR（视觉）；Sentiment140、IMDB、Amazon Reviews（文本）。
• 对不同模型配置下的实时指标（包括CPU使用时间、存储权重和模型准确率）进行性能分析。
• 系统性地改变独立变量，如模型架构（例如ResNet、Transformer、全连接层）、深度和参数数量。
• 应用统计分析以识别设计选择与性能指标之间的扩展趋势和相关性。
• 发布了一个全面的开源复现包，包含训练代码、应用代码、性能分析数据和分析脚本，以确保可复现性和开放科学标准。

实验结果

研究问题

• RQ1 神经网络中的参数数量如何影响移动人工智能应用中的CPU使用时间和存储权重？
• RQ2 模型架构（例如ResNet与简单CNN）在多大程度上影响移动设备上人工智能推理的基线计算成本？
• RQ3 不同数据集如何影响人工智能模型在移动部署中的扩展行为和准确率？
• RQ4 性能分析工具能否可靠地捕捉并量化模型复杂度与资源消耗之间的性能权衡？
• RQ5 哪些设计实践可以指导开发人员在移动应用中实现更节能、更‘绿色’的人工智能模型？

主要发现

• 在卷积神经网络中，CPU使用时间随参数数量呈指数级增长，而在全连接层中则呈对数级增长。
• 存储权重随参数数量线性增加，但模型准确率并未与参数增长成比例提升。
• 残差网络（ResNets）和Transformer模型的基线CPU使用量显著高于标准CNN或RNN等简单架构。
• 数据集的选择强烈影响人工智能模型的扩展行为和准确率，表明性能权衡具有上下文依赖性。
• 本研究证实，性能分析工具能够系统性地捕获性能指标，从而支持数据驱动的绿色人工智能开发决策。
• 建议从较小模型开始，仅在准确率不足时才进行扩展，这是实现移动应用中绿色人工智能的推荐最佳实践。