[论文解读] Resource-Constrained Federated Learning with Heterogeneous Labels and Models

Gautham Krishna Gudur, Bala Shyamala Balaji+1 more|arXiv (Cornell University)|Nov 6, 2020

Privacy-Preserving Technologies in Data被引用 8

一句话总结

该论文提出了一种资源高效的联邦学习框架，通过 $α$-加权聚合模型得分来处理异构模型和标签，实现无需传输完整模型权重的鲁棒全局模型更新。在 Animals-10 数据集上，其平均确定性准确率提升了 16.7%，在标签重叠场景下表现显著，且在 Raspberry Pi 2 等边缘设备上具备可行性。

ABSTRACT

Various IoT applications demand resource-constrained machine learning mechanisms for different applications such as pervasive healthcare, activity monitoring, speech recognition, real-time computer vision, etc. This necessitates us to leverage information from multiple devices with few communication overheads. Federated Learning proves to be an extremely viable option for distributed and collaborative machine learning. Particularly, on-device federated learning is an active area of research, however, there are a variety of challenges in addressing statistical (non-IID data) and model heterogeneities. In addition, in this paper we explore a new challenge of interest -- to handle label heterogeneities in federated learning. To this end, we propose a framework with simple $\\alpha$-weighted federated aggregation of scores which leverages overlapping information gain across labels, while saving bandwidth costs in the process. Empirical evaluation on Animals-10 dataset (with 4 labels for effective elucidation of results) indicates an average deterministic accuracy increase of at least ~16.7%. We also demonstrate the on-device capabilities of our proposed framework by experimenting with federated learning and inference across different iterations on a Raspberry Pi 2, a single-board computing platform.

研究动机与目标

• 解决非独立同分布联邦学习中标签和模型异构性的挑战，特别是在资源受限的物联网和边缘环境中的应用。
• 在无需传输模型权重的前提下实现有效的全局模型聚合，降低通信开销。
• 通过基于标签重叠的加权得分聚合，利用客户端之间的重叠标签信息提升模型准确率。
• 证明联邦学习及其推理在低功耗平台（如 Raspberry Pi 2）上的设备端可行性。

提出的方法

• 提出使用 $α$-加权联邦聚合模型得分而非完整模型权重，降低带宽和延迟。
• 利用重叠标签信息计算加权全局更新，增强客户端之间的知识迁移。
• 应用迁移学习原理，通过得分级一致性对齐本地模型输出，避免完整模型蒸馏。
• 采用一种简单而有效的聚合策略，根据标签重叠程度动态加权客户端贡献。
• 设计一种通信高效的协议，仅在客户端与服务器之间交换模型得分（而非完整权重）。
• 在 Animals-10 数据集上验证该框架，三个客户端具有不同且部分重叠的标签集合。

实验结果

研究问题

• RQ1 如何使联邦学习在非独立同分布数据设置下对标签和模型异构性具有鲁棒性？
• RQ2 基于标签重叠的得分级聚合是否能在不传输完整模型权重的前提下提升全局模型准确率？
• RQ3 标签重叠对联邦学习中全局模型更新的稳定性和性能有何影响？
• RQ4 该框架在边缘设备上的设备端计算和通信开销方面效率如何？
• RQ5 该框架能否在 Raspberry Pi 2 等低资源平台有效部署，以支持实时推理与训练？

主要发现

• 与本地模型相比，所提框架在所有客户端上实现了平均 16.7% 的确定性准确率提升，尤其在标签重叠场景下表现显著。
• 用户 2（标签为 {Dog, Sheep}，标签重叠度高）实现了 23.17% 的准确率提升，证明了重叠标签信息的有效性。
• 用户 1 和用户 3（标签重叠度较低）的提升较小（分别为 17.36% 和 9.3%），证实标签重叠程度越高，性能提升越明显。
• 当存在标签重叠时，全局模型对本地准确率波动具有鲁棒性，如用户 2 尽管本地准确率出现下降，其全局更新仍保持稳定。
• 设备端推理每样本仅需 15 ms，每轮训练耗时约 1.8 秒，证明其在边缘硬件上的可行性。
• 与基于模型蒸馏的方法相比，该框架在设备端计算时间上表现更优，因其避免了完整蒸馏过程，显著降低延迟。