[论文解读] Robust Federated Learning Through Representation Matching and Adaptive Hyper-parameters

Hesham Mostafa|arXiv (Cornell University)|Dec 30, 2019

Privacy-Preserving Technologies in Data参考文献 29被引用 21

一句话总结

本文提出了一种结合表示匹配与基于REINFORCE的在线自适应超参数调优的鲁棒联邦学习框架，以解决非独立同分布（non-iid）数据下的模型分歧问题。通过将本地表示与全局模型对齐，并在每轮中动态优化超参数，该方法在异构数据设置下实现了更高的准确率与稳定性，且无需昂贵的超参数搜索或显著的计算开销。

ABSTRACT

Federated learning is a distributed, privacy-aware learning scenario which trains a single model on data belonging to several clients. Each client trains a local model on its data and the local models are then aggregated by a central party. Current federated learning methods struggle in cases with heterogeneous client-side data distributions which can quickly lead to divergent local models and a collapse in performance. Careful hyper-parameter tuning is particularly important in these cases but traditional automated hyper-parameter tuning methods would require several training trials which is often impractical in a federated learning setting. We describe a two-pronged solution to the issues of robustness and hyper-parameter tuning in federated learning settings. We propose a novel representation matching scheme that reduces the divergence of local models by ensuring the feature representations in the global (aggregate) model can be derived from the locally learned representations. We also propose an online hyper-parameter tuning scheme which uses an online version of the REINFORCE algorithm to find a hyper-parameter distribution that maximizes the expected improvements in training loss. We show on several benchmarks that our two-part scheme of local representation matching and global adaptive hyper-parameters significantly improves performance and training robustness.

研究动机与目标

• 解决由于客户端数据分布异构导致的联邦学习中模型分歧问题。
• 克服在通信受限的联邦设置下传统超参数调优方法不切实际的问题。
• 在无需为每项任务手动调优超参数的情况下，提升训练的鲁棒性与收敛性。
• 开发一种可扩展的在线方法，实现超参数自适应，以实时最大化训练损失的减少。
• 确保本地模型与全局模型的表示空间保持对齐，防止灾难性遗忘与性能崩溃。

提出的方法

• 引入一种表示匹配损失，以在训练过程中促使本地模型保留全局模型的特征表示。
• 将超参数选择建模为一个在线强化学习问题，采用REINFORCE算法以最大化每轮的损失改善。
• 根据客户端训练进度的实时反馈，动态调整每轮的学习率与本地SGD步数。
• 使用随机策略梯度更新来随轮次优化超参数分布，实现在线自适应。
• 将表示匹配损失整合到客户端的本地训练目标中，以减少本地与全局表示之间的分歧。
• 通过每轮仅向客户端传输两个标量值（超参数均值），保持可忽略的通信开销。

实验结果

研究问题

• RQ1 在非独立同分布的联邦学习设置下，表示匹配是否能有效减少本地模型与全局模型之间的分歧？
• RQ2 通过REINFORCE实现的在线自适应超参数调优是否在收敛性与准确率方面优于固定超参数调度？
• RQ3 表示匹配与自适应超参数的结合如何影响在多样化数据分布下的训练鲁棒性？
• RQ4 与标准FedAvg相比，所提方法的计算与通信开销如何？
• RQ5 自适应超参数策略是否能在无需完整重训或人工调优的情况下，学习到可解释且有效的策略？

主要发现

• 在非iid数据（C=1.0）下的KWS任务中，FA+RM+AH方法达到了94.4%的准确率，而标准FedAvg仅达28.4%，相对提升66%。
• 在CIFAR10数据集上，FA+RM+AH达到85.2%的准确率，显著优于FA（72.1%）与FA+WD（76.3%）在相同设置下的表现。
• 自适应超参数方案比固定调度更有效地降低训练损失，且基于REINFORCE的策略学习到在非iid场景中降低学习率。
• 所有任务中，自适应超参数调优的计算开销均低于2%，平均壁钟时间仅增加5%-10%。
• 仅使用表示匹配（FA+RM）的性能显著优于权重差异惩罚（FA+WD），尤其在KWS与CIFAR10等挑战性任务上。
• 该方法在非iid设置下防止了灾难性训练失败，且无需人工调优超参数，展现出在真实场景中的强大鲁棒性。