[论文解读] The Internet of Things in the Era of Generative AI: Vision and Challenges

Xin Wang, Zhongwei Wan+5 more|arXiv (Cornell University)|Jan 3, 2024

IoT and Edge/Fog Computing被引用 4

一句话总结

本文提出将生成式人工智能整合到物联网（IoT）的愿景，突出其在医疗保健、机器人技术和边缘计算等领域的变革性应用。它识别出关键挑战——如高计算需求、设备端推理、安全问题以及缺乏物联网专用基准测试——并提出通过模型压缩、联邦学习和可信执行环境等解决方案，以实现高效、安全且可扩展的AIoT系统。

ABSTRACT

Advancements in Generative AI hold immense promise to push Internet of Things (IoT) to the next level. In this article, we share our vision on IoT in the era of Generative AI. We discuss some of the most important applications of Generative AI in IoT-related domains. We also identify some of the most critical challenges and discuss current gaps as well as promising opportunities on enabling Generative AI for IoT. We hope this article can inspire new research on IoT in the era of Generative AI.

研究动机与目标

• 探索生成式人工智能在医疗保健、机器人技术和自主系统等领域的物联网应用中，实现变革潜力的路径。
• 识别并分析在资源受限的物联网设备上部署生成式人工智能所面临的主要技术与系统性挑战。
• 针对设备端推理、模型效率、安全性和隐私保护训练等关键障碍，提出解决方案。
• 强调迫切需要开发面向生成式人工智能工作负载的物联网专用开发工具与基准测试。
• 通过指出当前在模型部署、优化与评估方面的差距与潜在机遇，激发AIoT领域的新研究。

提出的方法

• 利用GPT、LLaMA、DALL-E和Stable Diffusion等大规模预训练模型，实现在物联网环境中高质量内容生成与复杂任务执行。
• 提出设备端推理与模型压缩技术（如llama.cpp），以在资源有限的边缘设备上部署大型语言模型。
• 引入生成式模型辅助的联邦学习（如GPT-FL），以提升去中心化训练场景下的数据效率与模型准确率。
• 倡导使用可信执行环境（TEEs）来保障模型推理安全，保护知识产权，并确保生成输出的机密性。
• 建议开发新型AI编译器（如OpenVINO、TVM、MLIR）与优化的推理框架，以提升跨平台效率。
• 呼吁建立涵盖延迟、内存、能耗及性能-效率权衡的专用基准测试，专门针对物联网工作负载。

实验结果

研究问题

• RQ1 生成式人工智能如何提升资源受限物联网系统中的实时智能决策能力？
• RQ2 在边缘物联网设备上部署大型生成式模型的主要技术障碍是什么？
• RQ3 如何优化设备端推理与模型卸载，以在性能、延迟与能耗之间取得平衡？
• RQ4 生成式模型在保护隐私的物联网应用中，如何提升联邦学习的性能？
• RQ5 需要哪些新型开发工具与基准测试，以加速生成式人工智能在物联网中的应用？

主要发现

• GPT-4和DALL-E 2等生成式AI模型在数学推理与高保真图像生成等复杂任务中表现出接近人类水平的性能。
• 如GPT-4等大型模型参数量高达1.8万亿，显著超过早期模型如BERT，从而实现更优的泛化能力与零样本推理能力。
• 生成式模型辅助的联邦学习（GPT-FL）在模型准确率、通信效率与客户端采样效率方面，优于当前最先进的联邦学习方法。
• 可信执行环境（TEEs）对于保障模型推理安全、保护物联网设备上的敏感数据与专有模型至关重要。
• 现有工具如PyTorch与TensorFlow在物联网部署中已显不足；新型工具如llama.cpp与MLIR虽已出现，但对大型生成式模型仍显不成熟。
• 目前尚无针对物联网中生成式AI的专用基准测试，导致在性能、效率与能耗评估方面存在关键空白。