[论文解读] Personalized Federated Learning: A Unified Framework and Universal Optimization Techniques

Filip Hanzely, Boxin Zhao+1 more|arXiv (Cornell University)|Feb 18, 2021

Privacy-Preserving Technologies in Data被引用 15

一句话总结

本文通过将多种现有个性化联邦学习（FL）方法统一为一个通用目标函数，提出了一套统一的优化框架。该框架引入了三种通用优化器——LSGD-PFL、ACD-PFL 和 ASVRCD-PFL，针对强凸问题实现了通信与计算复杂度的极小化最大最优（minimax-optimal）性能，通常在无需定制设计的情况下，达到或超越特定任务的算法性能。

ABSTRACT

We investigate the optimization aspects of personalized Federated Learning (FL). We propose general optimizers that can be applied to numerous existing personalized FL objectives, specifically a tailored variant of Local SGD and variants of accelerated coordinate descent/accelerated SVRCD. By examining a general personalized objective capable of recovering many existing personalized FL objectives as special cases, we develop a comprehensive optimization theory applicable to a wide range of strongly convex personalized FL models in the literature. We showcase the practicality and/or optimality of our methods in terms of communication and local computation. Remarkably, our general optimization solvers and theory can recover the best-known communication and computation guarantees for addressing specific personalized FL objectives. Consequently, our proposed methods can serve as universal optimizers, rendering the design of task-specific optimizers unnecessary in many instances.

研究动机与目标

• 将文献中多样的个性化FL目标统一为一个通用优化问题。
• 开发适用于多种个性化FL场景的通用优化方法，无需针对特定任务进行调优。
• 为个性化FL中的通信与本地计算建立精确的、极小化最大最优的收敛保证。
• 证明通用优化器可匹配甚至超越针对单一FL目标设计的专用算法性能。

提出的方法

• 提出统一目标函数 F(w, β) = (1/M)Σₘ fₘ(w, βₘ)，通过合理设计局部损失 fₘ，推广了多种现有个性化FL方法。
• 提出三种通用优化器：用于个性化联邦学习的局部SGD（LSGD-PFL）、加速块坐标下降（ACD-PFL）和加速随机方差减少坐标下降（ASVRCD-PFL）。
• 施加标准的凸性与光滑性假设：F 具有 μ-强凸性，且对所有 m ∈ [M]，fₘ 具有 (Lʷ, MLᵦ)-光滑性。
• 在上述假设下推导通信与计算复杂度的上界，证明其为极小化最大最优。
• 通过将全局参数 w 以 M⁻¹ᐟ² 进行重参数化，提升收敛性并防止过拟合。
• 通过实验验证框架在不同松弛参数 Λ 和重参数化设置下的性能，表明最优超参数可带来性能提升。

实验结果

研究问题

• RQ1 能否通过单一通用优化框架，统一文献中多样的个性化FL目标？
• RQ2 从该框架中导出的通用优化器是否能在多种个性化FL设置中实现通信与计算复杂度的极小化最大最优？
• RQ3 对全局参数 w 进行重参数化是否能提升个性化FL中的收敛性与泛化能力？
• RQ4 引入松弛参数 Λ 的扩展目标是否在经验上优于标准形式？
• RQ5 该通用框架能否恢复或超越特定任务算法的最佳已知收敛速率？

主要发现

• 通过适当构造局部损失 fₘ，所提出的统一目标函数（1）可作为多种现有个性化FL方法的特例被恢复。
• 通用优化器 LSGD-PFL、ACD-PFL 和 ASVRCD-PFL 在强凸问题下实现了通信复杂度的极小化最大最优，为 O(√(Lʷ/μ) log ε⁻¹)。
• 在所有测试的个性化FL目标中，通用优化器的收敛速率均匹配或优于文献中已知的最佳结果。
• 通过 M⁻¹ᐟ² 对 w 进行重参数化，能持续提升测试准确率并稳定训练过程，表明泛化性能更优。
• 实验结果表明，适中的松弛参数 Λ（如 10.0）的性能优于极端值（如 Λ=100.0），表明正则化强度增加带来的收益并非单调递增。
• 该框架实现了通用优化：在许多场景下，无需再进行特定任务的算法设计，通用求解器即可达到最先进性能。