[论文解读] Where to Begin? On the Impact of Pre-Training and Initialization in Federated Learning

John Nguyen, Jianyu Wang+3 more|arXiv (Cornell University)|Oct 14, 2022

Privacy-Preserving Technologies in Data被引用 13

一句话总结

本论文研究了联邦学习中预训练与模型初始化的影响，表明从预训练模型开始可显著提升收敛速度、最终准确率（最高提升40%），并增强对数据异构性与系统异构性的鲁棒性。研究发现，使用预训练初始化时，自适应服务器优化器（如FedAdam）的重要性超过异构性感知方法。论文建议在随机初始化与预训练初始化两种设置下评估联邦优化方法。

ABSTRACT

An oft-cited challenge of federated learning is the presence of heterogeneity. \emph{Data heterogeneity} refers to the fact that data from different clients may follow very different distributions. \emph{System heterogeneity} refers to the fact that client devices have different system capabilities. A considerable number of federated optimization methods address this challenge. In the literature, empirical evaluations usually start federated training from random initialization. However, in many practical applications of federated learning, the server has access to proxy data for the training task that can be used to pre-train a model before starting federated training. We empirically study the impact of starting from a pre-trained model in federated learning using four standard federated learning benchmark datasets. Unsurprisingly, starting from a pre-trained model reduces the training time required to reach a target error rate and enables the training of more accurate models (up to 40\%) than is possible when starting from random initialization. Surprisingly, we also find that starting federated learning from a pre-trained initialization reduces the effect of both data and system heterogeneity. We recommend that future work proposing and evaluating federated optimization methods evaluate the performance when starting from random and pre-trained initializations. We also believe this study raises several questions for further work on understanding the role of heterogeneity in federated optimization.

研究动机与目标

• 研究模型初始化方式（随机初始化 vs. 预训练初始化）对联邦学习性能的影响。
• 评估预训练在跨设备联邦学习中对数据异构性与系统异构性的影响。
• 确定现有联邦优化方法是否更受益于预训练，还是更受益于异构性感知设计。
• 为预训练如何提升联邦学习中收敛性与鲁棒性的原因提供实证与理论洞察。

提出的方法

• 作者在四个基准数据集（CIFAR-10、CIFAR-100、Stack Overflow（NLP）、Federated EMNIST）上，对15种最先进的联邦优化方法进行了全面的实证研究。
• 比较从随机初始化与通过在公共代理数据上进行监督预训练获得的预训练权重开始的训练动态与最终模型准确率。
• 针对每种方法与数据集，分别对两种初始化方式独立调整超参数，以确保公平比较。
• 研究测量了收敛速度、最终测试准确率、客户端更新的余弦相似度，以及初始化时的最大Hessian特征值（平滑性）。
• 使用开源FLSim框架以确保在多样化联邦学习设置下结果的可复现性。
• 理论分析通过检查局部Lipschitz常数（最大Hessian特征值）与客户端间更新相似性来支持。

实验结果

研究问题

• RQ1 与随机初始化相比，预训练如何影响联邦学习模型的收敛速度与最终准确率？
• RQ2 在多大程度上，预训练能减轻联邦学习中数据与系统异构性的负面影响？
• RQ3 在使用预训练初始化时，客户端优化器的选择是否比服务器优化器更重要？
• RQ4 最大Hessian特征值（以损失曲面平滑性衡量）在随机初始化与预训练初始化之间有何差异？
• RQ5 仅使用预训练权重的简单本地SGD能否与更复杂的异构性感知联邦优化器相媲美或超越？

主要发现

• 从预训练模型开始可减少达到目标准确率所需的训练轮数，并将最终模型准确率相比随机初始化最高提升40%。
• 在使用预训练权重初始化时，自适应与非自适应优化器之间的性能差距缩小，此时服务器端的FedAdam比客户端的异构性感知方法更为关键。
• 预训练显著减轻了非独立同分布数据与系统异构性的负面影响，使模型在多样化客户端配置下的性能更加稳定。
• 使用预训练权重初始化时，最大Hessian特征值（局部平滑性的代理指标）始终更小，表明损失曲面条件更优。
• 从预训练权重开始的客户端更新表现出更高的余弦相似度，这解释了在异构环境下更快的收敛速度与更强的鲁棒性。
• 仅使用预训练初始化的简单本地SGD在性能上可与或优于更复杂的本地优化器，表明预训练可降低对复杂客户端优化的依赖。