[论文解读] The Internet of Federated Things (IoFT): A Vision for the Future and In-depth Survey of Data-driven Approaches for Federated Learning

Raed Al Kontar, Naichen Shi+13 more|arXiv (Cornell University)|Nov 9, 2021

Privacy-Preserving Technologies in Data参考文献 292被引用 7

一句话总结

本文提出了联邦物联网（IoFT）这一去中心化范式，其中物联网设备在本地协作训练机器学习模型，同时保护数据隐私。通过利用联邦学习（FL），IoFT 实现了在边缘设备上进行全局、个性化及元学习模型的训练，其关键贡献在于利用统计与优化技术，在医疗、制造、能源及可靠性应用中实现隐私保护的分析。

ABSTRACT

The Internet of Things (IoT) is on the verge of a major paradigm shift. In the IoT system of the future, IoFT, the cloud will be substituted by the crowd where model training is brought to the edge, allowing IoT devices to collaboratively extract knowledge and build smart analytics/models while keeping their personal data stored locally. This paradigm shift was set into motion by the tremendous increase in computational power on IoT devices and the recent advances in decentralized and privacy-preserving model training, coined as federated learning (FL). This article provides a vision for IoFT and a systematic overview of current efforts towards realizing this vision. Specifically, we first introduce the defining characteristics of IoFT and discuss FL data-driven approaches, opportunities, and challenges that allow decentralized inference within three dimensions: (i) a global model that maximizes utility across all IoT devices, (ii) a personalized model that borrows strengths across all devices yet retains its own model, (iii) a meta-learning model that quickly adapts to new devices or learning tasks. We end by describing the vision and challenges of IoFT in reshaping different industries through the lens of domain experts. Those industries include manufacturing, transportation, energy, healthcare, quality & reliability, business, and computing.

研究动机与目标

• 通过用基于边缘的协作替代以云为中心的学习，解决大规模物联网系统中的隐私与数据去中心化挑战。
• 在不共享原始数据的前提下，实现物联网设备间的协作模型训练，保护用户与知识产权隐私。
• 针对异构的、基于边缘的物联网环境，设计并评估三种学习范式——全局、个性化及元学习。
• 在医疗、制造、能源及可靠性工程等实际领域中，证明 IoFT 的可行性和优势。
• 对数据驱动的联邦学习方法进行全面综述，包括统计建模、优化方法及公平性机制，以支持边缘部署。

提出的方法

• 提出一种全局 FL 框架，其中中心服务器聚合来自边缘设备的本地模型更新，同时保持原始数据的本地化。
• 实现个性化 FL 模型，使其在保留设备特定特征的同时，借鉴全局群体的知识。
• 引入元学习方法，利用少样本学习原理，实现对新设备或新任务的快速适应。
• 应用统计方法（如共轭先验与贝叶斯更新）以在可靠性数据共享中保持隐私（例如，威布尔分布与比尔瑙-桑德斯分布）。
• 采用优化技术（如 FedAvg 与自适应采样）以提升在异构客户端上的收敛性与公平性。
• 设计一种用于分布式制造与可靠性测试的网络物理操作系统，通过联邦更新实现安全、隐私保护的模型聚合。

实验结果

研究问题

• RQ1 联邦学习如何在不集中敏感数据的前提下，实现物联网系统中隐私保护的模型训练？
• RQ2 当客户端存在统计异构性与系统异构性时，实现有效全局模型收敛的关键挑战是什么？
• RQ3 个性化与元学习模型如何提升基于边缘的物联网部署中的性能与适应能力？
• RQ4 联邦学习在工业与消费类产品的可靠性估计与故障预测方面，可如何提升？
• RQ5 在医疗、制造与能源等行业中部署 IoFT 的实际影响与技术需求是什么？

主要发现

• 联邦学习可在不共享原始数据的前提下，实现对异构物联网设备的准确全局模型训练，显著提升隐私保护与可扩展性。
• 个性化 FL 模型通过将全局知识适配到本地数据分布，在非独立同分布（non-IID）条件下显著提升单个设备上的性能。
• 元学习方法使新设备能以极少数据快速适应新任务，减少从零开始重新训练的需求。
• 在可靠性工程中，结合共轭先验的联邦贝叶斯更新可实现对威布尔分布及其他寿命分布的安全、隐私保护估计。
• IoFT 框架在实际应用中展现出可行性，例如在疫情期间用于 3D 打印个人防护装备（PPE）及预测电动汽车电池退化。
• 将统计建模（如逆高斯分布、比尔瑙-桑德斯分布）与联邦学习相结合，可在保护组件级隐私的同时，提升可靠性预测的准确性。