[论文解读] Multi-Task Federated Learning for Personalised Deep Neural Networks in Edge Computing

Jed Mills, Jia Hu+1 more|arXiv (Cornell University)|Jul 17, 2020

Privacy-Preserving Technologies in Data参考文献 40被引用 17

一句话总结

本文提出多任务联邦学习（MTFL），通过在客户端本地保留批量归一化（BN）层，提升边缘计算中个性化深度神经网络的性能，实现更快收敛速度和更高的用户模型准确率（UA），同时避免共享敏感模型参数。MTFL相较于标准FedAvg减少最多5倍训练轮次，相较于FedAvg-Adam减少最多3倍，优于当前最先进的个性化联邦学习方法。

ABSTRACT

Federated Learning (FL) is an emerging approach for collaboratively training Deep Neural Networks (DNNs) on mobile devices, without private user data leaving the devices. Previous works have shown that non-Independent and Identically Distributed (non-IID) user data harms the convergence speed of the FL algorithms. Furthermore, most existing work on FL measures global-model accuracy, but in many cases, such as user content-recommendation, improving individual User model Accuracy (UA) is the real objective. To address these issues, we propose a Multi-Task FL (MTFL) algorithm that introduces non-federated Batch-Normalization (BN) layers into the federated DNN. MTFL benefits UA and convergence speed by allowing users to train models personalised to their own data. MTFL is compatible with popular iterative FL optimisation algorithms such as Federated Averaging (FedAvg), and we show empirically that a distributed form of Adam optimisation (FedAvg-Adam) benefits convergence speed even further when used as the optimisation strategy within MTFL. Experiments using MNIST and CIFAR10 demonstrate that MTFL is able to significantly reduce the number of rounds required to reach a target UA, by up to $5 imes$ when using existing FL optimisation strategies, and with a further $3 imes$ improvement when using FedAvg-Adam. We compare MTFL to competing personalised FL algorithms, showing that it is able to achieve the best UA for MNIST and CIFAR10 in all considered scenarios. Finally, we evaluate MTFL with FedAvg-Adam on an edge-computing testbed, showing that its convergence and UA benefits outweigh its overhead.

研究动机与目标

• 为解决联邦学习（FL）中非独立同分布（non-IID）数据带来的挑战，该挑战会阻碍收敛并降低全局模型性能。
• 提升个体用户模型准确率（UA），这在内容推荐等应用中往往是实际目标，而非全局模型准确率。
• 通过避免完整模型上传或额外训练步骤，降低个性化FL的通信与存储开销。
• 通过将敏感模型参数（如BN统计量）保留在每个客户端本地，维护数据隐私。
• 在异构设备的真实边缘计算测试平台中，评估MTFL的有效性。

提出的方法

• MTFL引入非联邦的批量归一化（BN）层，这些层在每个客户端本地训练，不与服务器共享，从而实现模型个性化。
• 该方法采用多任务学习框架，每个客户端独立优化其BN参数，同时通过联邦平均共享其余DNN权重。
• MTFL兼容标准FL优化算法（如FedAvg），并可扩展至分布式Adam变体FedAvg-Adam，以实现更快收敛。
• 仅在轮次间传输和存储BN层的可训练参数（γ, β），显著降低存储与通信成本。
• 该方法利用BN层适应本地数据分布的特性，提升本地模型性能，同时不损害隐私。
• 实验使用MNIST和CIFAR10数据集，采用非独立同分布的数据划分，评估UA、收敛速度与通信效率。

实验结果

研究问题

• RQ1 在非独立同分布数据设置下，联邦学习框架是否可通过允许个性化而不共享完整模型，提升用户模型准确率（UA）？
• RQ2 在联邦设置中使用私有BN层，是否可减少达到目标UA所需的训练轮次，相比标准FedAvg？
• RQ3 MTFL与FedAvg-Adam结合后，在收敛速度与最终UA方面，相较于其他个性化FL方法表现如何？
• RQ4 在真实世界边缘计算测试平台中，MTFL的通信开销是否由其性能提升所合理化？
• RQ5 MTFL是否能在保持更低存储与计算成本的前提下，实现优于当前最先进个性化FL方法的UA？

主要发现

• 在MNIST与CIFAR10上，MTFL结合FedAvg相较于标准FedAvg，将达到目标UA所需的训练轮次最多减少5倍。
• 在MTFL中使用FedAvg-Adam进一步将所需轮次最多减少3倍，相比FedAvg，表明收敛速度显著提升。
• 在所有测试场景中，MTFL在MNIST与CIFAR10上均实现了最高的平均用户模型准确率（UA），优于Per-FedAvg与pFedMe。
• 在模型片段中使用可训练BN参数（γ, β）相比使用统计量（μ, σ）可实现更快收敛，表明其在个性化中的关键作用。
• 在由10个树莓派设备组成的实际MEC测试平台中，MTFL(FedAvg-Adam)的通信成本增加，但其在UA与收敛速度上的显著提升使其完全合理。
• MTFL相比其他个性化FL方法，保持了更低的存储与计算开销，因其仅存储与传输BN层参数，而非完整模型。