[论文解读] Pervasive AI for IoT Applications: Resource-efficient Distributed Artificial Intelligence.

Emna Baccour, Naram Mhaisen+5 more|arXiv (Cornell University)|May 4, 2021

IoT and Edge/Fog Computing参考文献 270被引用 11

一句话总结

本文提出了一种面向普适物联网系统的资源高效分布式人工智能框架，通过利用通信高效的算法以及物联网、边缘和云节点之间的协同计算，降低开销并提升实时人工智能工作负载（如深度学习和在线学习）的性能。主要贡献在于对实现可扩展、低延迟普适人工智能系统的各项技术进行了全面综述。

ABSTRACT

Artificial intelligence (AI) has witnessed a substantial breakthrough in a variety of Internet of Things (IoT) applications and services, spanning from recommendation systems to robotics control and military surveillance. This is driven by the easier access to sensory data and the enormous scale of pervasive/ubiquitous devices that generate zettabytes (ZB) of real-time data streams. Designing accurate models using such data streams, to predict future insights and revolutionize the decision-taking process, inaugurates pervasive systems as a worthy paradigm for a better quality-of-life. The confluence of pervasive computing and artificial intelligence, Pervasive AI, expanded the role of ubiquitous IoT systems from mainly data collection to executing distributed computations with a promising alternative to centralized learning, presenting various challenges. In this context, a wise cooperation and resource scheduling should be envisaged among IoT devices (e.g., smartphones, smart vehicles) and infrastructure (e.g. edge nodes, and base stations) to avoid communication and computation overheads and ensure maximum performance. In this paper, we conduct a comprehensive survey of the recent techniques developed to overcome these resource challenges in pervasive AI systems. Specifically, we first present an overview of the pervasive computing, its architecture, and its intersection with artificial intelligence. We then review the background, applications and performance metrics of AI, particularly Deep Learning (DL) and online learning, running in a ubiquitous system. Next, we provide a deep literature review of communication-efficient techniques, from both algorithmic and system perspectives, of distributed inference, training and online learning tasks across the combination of IoT devices, edge devices and cloud servers. Finally, we discuss our future vision and research challenges.

研究动机与目标

• 解决由于无处不在的物联网设备产生的海量实时数据，导致普适人工智能系统中通信和计算开销过高的挑战。
• 通过在异构的物联网、边缘和云基础设施上实现分布式推理、训练和在线学习，克服集中式人工智能学习的局限性。
• 通过优化多样化设备和网络节点之间的资源调度与协作，提升系统性能和可扩展性。
• 从算法和系统层面，综述并分析分布式人工智能中通信效率的最先进技术。
• 识别可扩展、高效且智能的普适计算系统在未来研究中的开放挑战和未来方向。

提出的方法

• 调研普适计算架构及其与人工智能的集成，重点关注物联网数据流和实时决策。
• 回顾深度学习和在线学习在无处不在环境中的性能指标和应用领域，包括机器人、监控和推荐系统。
• 分析用于分布式推理、训练和在线学习的通信高效技术，重点强调模型压缩、量化和梯度聚合。
• 评估系统级优化技术，如边缘缓存、任务卸载和动态资源分配，以降低延迟和带宽使用。
• 提出一种面向物联网设备、边缘节点和云服务器之间协同人工智能执行的综合框架，最大限度减少冗余数据传输。
• 综合算法和系统级研究的见解，指导大规模、分布式物联网生态系统中人工智能的高效部署。

实验结果

研究问题

• RQ1 如何在物联网、边缘和云系统之间的分布式人工智能工作负载中最小化通信开销？
• RQ2 在普适人工智能中，实现高效分布式推理和训练的最有效算法和系统级技术是什么？
• RQ3 如何优化异构设备之间的资源调度与协作，以维持高性能和低延迟？
• RQ4 在实时物联网应用中部署深度学习和在线学习的关键性能指标和权衡是什么？
• RQ5 在可扩展性和安全性方面，面向普适计算环境的分布式人工智能尚存哪些未来研究挑战？

主要发现

• 如模型量化和梯度稀疏化等通信高效技术可显著减少分布式训练中的数据传输，且不损害模型准确性。
• 在边缘和物联网设备之间协同推理可降低端到端延迟，并减轻资源受限设备的计算负担。
• 结合边缘和云计算的混合架构比仅依赖中心化云的方案具有更好的可扩展性和响应能力。
• 在线学习方法可实现随实时数据流动态演化的自适应人工智能模型，这对智能汽车和监控等动态物联网应用至关重要。
• 系统级优化技术如动态任务卸载和边缘缓存可提升大规模部署中的能效并减少网络拥塞。
• 普适计算与人工智能的集成可推动医疗、机器人和智慧城市等领域的变革性应用，但其在安全性和公平性方面仍需进一步研究。