[论文解读] SemiFL: Semi-Supervised Federated Learning for Unlabeled Clients with Alternate Training

Enmao Diao, Jie Ding+1 more|arXiv (Cornell University)|Jun 2, 2021

Privacy-Preserving Technologies in Data参考文献 74被引用 37

一句话总结

SemiFL 在联邦设置中通过在带标签的服务器和未标注的客户端之间交替训练，利用全局模型生成的伪标签并用带标签的数据进行微调来提高性能，从而实现对未标注客户端的学习。

ABSTRACT

Federated Learning allows the training of machine learning models by using the computation and private data resources of many distributed clients. Most existing results on Federated Learning (FL) assume the clients have ground-truth labels. However, in many practical scenarios, clients may be unable to label task-specific data due to a lack of expertise or resource. We propose SemiFL to address the problem of combining communication-efficient FL such as FedAvg with Semi-Supervised Learning (SSL). In SemiFL, clients have completely unlabeled data and can train multiple local epochs to reduce communication costs, while the server has a small amount of labeled data. We provide a theoretical understanding of the success of data augmentation-based SSL methods to illustrate the bottleneck of a vanilla combination of communication-efficient FL with SSL. To address this issue, we propose alternate training to `fine-tune global model with labeled data' and `generate pseudo-labels with the global model.' We conduct extensive experiments and demonstrate that our approach significantly improves the performance of a labeled server with unlabeled clients training with multiple local epochs. Moreover, our method outperforms many existing SSFL baselines and performs competitively with the state-of-the-art FL and SSL results.

研究动机与目标

• 在大多数客户端缺乏地面真相标签时激励联邦学习，并在此约束下展示高效通信的半监督学习（SSL）。
• 提出 SemiFL，以结合 FedAvg 类通信效率与 SSL，使未标注的客户端能够进行多轮本地训练。
• 提供理论洞察，解释为何强数据增强在此设置中有助于 SSL 以及为何原生的 FedAvg+SSL 会失败。
• 引入一种交替训练方案，在带标签数据对全局模型进行微调和从全局模型生成伪标签之间交替进行。
• 在经验上表明 SemiFL 优于现有的 SSFL 基线，并且与最先进的 FL/SSL 方法具有竞争力。

提出的方法

• 在服务器持有少量带标签数据、客户端持有未标注数据的情况下，引入 SemiFL。
• 提出交替训练：（i）用带标签数据对全局模型进行微调，（ii）利用全局模型和未标注数据生成伪标签。
• 使用 FixMatch 风格的伪标签策略，设定置信度阈值以筛选高质量伪标签。
• 在高置信度伪带标签样本上应用 MixMatch 风格的混合学习以提升学习效果。
• 为了实现通信效率，客户端训练多轮本地周期，同时保持伪标签质量。
• 通过平均聚合客户端模型，然后在带标签数据上进行最终服务器微调步骤。
• 提供理论分析，展示强数据增强如何提升 SSL 的性能并缓解将 SSL 与 FL 结合的瓶颈。

实验结果

研究问题

• RQ1 在服务器只有少量带标签集的情况下，如何有效地将未标注的客户端并入联邦学习？
• RQ2 一种交替训练方案（仅从全局模型进行微调并生成伪标签）是否能提升带未标注客户端时的 SSL 表现？
• RQ3 强数据增强对 SemiFL 中伪标签质量和整体性能的影响是什么？
• RQ4 SemiFL 与现有的 SSFL 基线以及标准的 FL/SSL 方法在标准基准上有何比较？
• RQ5 所提出的交替训练方法的局限性与权衡（如计算时间）是什么？

主要发现

• 在具有未标注客户端的情况下，SemiFL 显著提升带标签服务器的性能，相较于现有的 SSFL 基线表现更优。
• 在 CIFAR10 上，SemiFL 明显提升了相对于原生 FedAvg+FixMatch 的准确度，并接近最先进的 FL/SSL 性能。
• 在某些带标签数据配置下，SemiFL 能将 CIFAR10 上的结果与最先进的 FL 和 SSL 相差大约 1-2%。
• 理论分析支持强数据增强是使在带未标注客户端的 FL 设置中实现 SSL 的关键因素。
• 消融研究表明交替训练的两个组件——用带标签数据微调和使用全局模型生成伪标签——对性能提升至关重要。
• 在 CIFAR10、SVHN 和 CIFAR100 上的实验结果表明，SemiFL 优于现有的 SSFL 方法，并且在 IID 和某些 Non-IID 分区下与集中式 SSL 方法具有竞争力。