[论文解读] SemiFed: Semi-supervised Federated Learning with Consistency and Pseudo-Labeling

Haowen Lin, Jian Lou+2 more|arXiv (Cornell University)|Aug 21, 2021

Privacy-Preserving Technologies in Data参考文献 29被引用 22

一句话总结

SemiFed 提出了一种统一的联邦学习框架，通过结合一致性正则化和伪标签技术，在标注数据有限的半监督设置下提升模型准确率。通过在增强视图间强制保持一致性，并仅采用高置信度且多客户端一致的伪标签，该方法在 CIFAR-10 和 SVHN 数据集上，无论数据分布为独立同分布（IID）还是非独立同分布（non-IID），均表现出稳健的性能。

ABSTRACT

Federated learning enables multiple clients, such as mobile phones and organizations, to collaboratively learn a shared model for prediction while protecting local data privacy. However, most recent research and applications of federated learning assume that all clients have fully labeled data, which is impractical in real-world settings. In this work, we focus on a new scenario for cross-silo federated learning, where data samples of each client are partially labeled. We borrow ideas from semi-supervised learning methods where a large amount of unlabeled data is utilized to improve the model's accuracy despite limited access to labeled examples. We propose a new framework dubbed SemiFed that unifies two dominant approaches for semi-supervised learning: consistency regularization and pseudo-labeling. SemiFed first applies advanced data augmentation techniques to enforce consistency regularization and then generates pseudo-labels using the model's predictions during training. SemiFed takes advantage of the federation so that for a given image, the pseudo-label holds only if multiple models from different clients produce a high-confidence prediction and agree on the same label. Extensive experiments on two image benchmarks demonstrate the effectiveness of our approach under both homogeneous and heterogeneous data distribution settings

研究动机与目标

• 解决联邦学习中客户端通常仅有部分标注数据的实际限制，使完全监督的假设不再现实。
• 克服客户端间数据非独立同分布（non-IID）带来的挑战，避免使用未标注数据时性能下降。
• 将半监督学习技术——特别是一致性正则化与伪标签——整合进联邦学习框架，以有效利用未标注数据。
• 通过要求多个客户端模型在预测上达成一致，确保伪标签的可靠性，降低噪声或错误标签的影响。
• 在独立同分布（IID）与非独立同分布（non-IID）数据分布设置下，验证所提方法的有效性。

提出的方法

• 使用先进的数据增强技术（如 RandAugment）实施一致性正则化，强制同一输入的不同扰动视图之间预测保持不变。
• 先仅使用标注数据训练模型，随后进入预热阶段以稳定预测，再引入伪标签机制。
• 基于本地与全局模型的高置信度预测（超过阈值）为未标注样本生成伪标签。
• 仅当多个客户端模型对同一标签均达成高置信度一致时，才启用伪标签，从而提升标签可靠性并减少噪声。
• 采用统一的训练目标，结合标注数据的监督损失、增强视图间的一致性损失，以及经验证的伪标签数据的伪监督损失。
• 在整个训练过程中保持恒定的学习率，因消融实验表明学习率衰减策略并未提升性能。

实验结果

研究问题

• RQ1 在非独立同分布数据分布下，一致性正则化是否能有效利用联邦学习中的未标注数据？
• RQ2 在联邦设置中，伪标签与一致性正则化结合后，如何提升模型性能？
• RQ3 多个客户端对高置信度预测达成一致，是否能提高伪标签的可靠性，并防止性能下降？
• RQ4 所提出的 SemiFed 框架是否在独立同分布（IID）与非独立同分布（non-IID）数据划分设置下均保持鲁棒性与泛化能力？
• RQ5 不同学习率调度对 SemiFed 框架收敛性与准确率的影响如何？

主要发现

• 在非独立同分布数据设置下，SemiFed 在 CIFAR-10 上使用 4,000 个标注样本时达到 75.51% 的测试准确率，显著优于监督基线方法与仅使用伪标签的方法。
• 消融研究显示，仅使用一致性正则化即可实现更平滑的训练过程并提升泛化能力，其验证准确率随时间推移持续改善，优于未使用该技术的方法。
• 即使不使用一致性正则化，仅采用伪标签的方法仍优于监督学习，但完整版 SemiFed 框架在所有设置下均取得最佳性能。
• 在 SVHN 数据集上，UDA 基线方法在使用 4,000 个标注样本时略胜 SemiFed，可能由于任务本身简单且基线准确率已很高，表明改进空间有限。
• 该方法在非独立同分布数据设置下依然有效，表现出对分布偏移的鲁棒性，避免了因未标注数据标签不匹配导致的性能下降。
• 使用恒定学习率优于学习率衰减策略，表明在 SemiFed 框架中，学习率自适应可能并非关键因素。