[论文解读] SSFL: Tackling Label Deficiency in Federated Learning via Personalized Self-Supervision

Chaoyang He, Zhengyu Yang+4 more|arXiv (Cornell University)|Oct 6, 2021

Privacy-Preserving Technologies in Data参考文献 36被引用 12

一句话总结

该论文提出SSFL，一种自监督且个性化的联邦学习框架，通过利用SimSiam进行无监督表征学习，并将有监督个性化方法（如Per-SSFL、Ditto）适配到自监督设置中，以解决边缘联邦学习中的标签不足与数据异构性问题。实验表明，基于表征的正则化优于基于权重的正则化，在无任何标注数据的情况下，性能接近完全监督的联邦学习。

ABSTRACT

Federated Learning (FL) is transforming the ML training ecosystem from a centralized over-the-cloud setting to distributed training over edge devices in order to strengthen data privacy. An essential but rarely studied challenge in FL is label deficiency at the edge. This problem is even more pronounced in FL compared to centralized training due to the fact that FL users are often reluctant to label their private data. Furthermore, due to the heterogeneous nature of the data at edge devices, it is crucial to develop personalized models. In this paper we propose self-supervised federated learning (SSFL), a unified self-supervised and personalized federated learning framework, and a series of algorithms under this framework which work towards addressing these challenges. First, under the SSFL framework, we demonstrate that the standard FedAvg algorithm is compatible with recent breakthroughs in centralized self-supervised learning such as SimSiam networks. Moreover, to deal with data heterogeneity at the edge devices in this framework, we have innovated a series of algorithms that broaden existing supervised personalization algorithms into the setting of self-supervised learning. We further propose a novel personalized federated self-supervised learning algorithm, Per-SSFL, which balances personalization and consensus by carefully regulating the distance between the local and global representations of data. To provide a comprehensive comparative analysis of all proposed algorithms, we also develop a distributed training system and related evaluation protocol for SSFL. Our findings show that the gap of evaluation accuracy between supervised learning and unsupervised learning in FL is both small and reasonable. The performance comparison indicates the representation regularization-based personalization method is able to outperform other variants.

研究动机与目标

• 为解决联邦学习中的关键挑战——边缘用户不愿标注其私有数据导致的标签不足问题。
• 在不依赖任何标注数据的前提下，实现联邦学习中有效的自监督表征学习。
• 将模型个性化整合到自监督联邦学习中，以应对边缘设备间的数据异构性。
• 在真实非独立同分布（non-IID）与标签不足条件下，评估并比较各类自监督与个性化联邦学习算法的性能。
• 开发一种稳健的评估协议，公平评估联邦自监督设置下的个性化编码器。

提出的方法

• 提出SSFL，一种统一框架，结合自监督学习（SSL）与个性化联邦学习，消除对标注数据的依赖。
• 将中心化自监督学习方法（尤其是SimSiam）适配到联邦学习设置中，证明其与FedAvg具有优异的兼容性。
• 提出Per-SSFL，一种新算法，通过调节本地与全局表征之间的距离，实现个性化与共识之间的平衡。
• 通过表征正则化，将有监督个性化技术（如perFedAvg、Ditto、本地微调）扩展至自监督设置。
• 采用梯度累积技术，以在资源受限设备上使用小批量训练时保持训练稳定性。
• 开发定制的分布式训练系统与评估协议，以公平比较客户端间个性化SSL模型的性能。

实验结果

研究问题

• RQ1 在无标注数据的联邦学习设置中，最先进的自监督学习方法（如SimSiam）表现如何？
• RQ2 现有有监督个性化方法能否有效适配到自监督联邦学习范式中？
• RQ3 数据异构性（非独立同分布分布）对自监督与个性化联邦学习模型性能有何影响？
• RQ4 评估协议的选择如何影响个性化自监督模型在联邦学习中的感知性能？
• RQ5 在无标签条件下，个性化策略——表征正则化或权重正则化——哪种性能更优？

主要发现

• 在所测试的中心化自监督学习方法中，SimSiam与FedAvg在联邦学习设置中表现出最佳兼容性。
• 基于表征正则化的个性化方法（如Per-SSFL）在个性化准确率方面显著优于基于权重的正则化方法。
• 朴素的联邦线性评估协议会降低个性化编码器的性能，表明标准聚合会损害个性化质量。
• 数据非独立同分布程度越高（如α=0.1 vs. α=0.5），收敛速度越慢，最终准确率越低，凸显了数据异构性的挑战。
• SSFL在无任何标注数据的情况下，仍能实现接近监督联邦学习的合理评估准确率，证明了其实际可行性。
• 小批量大小具有关键影响：若不使用梯度累积，小批量（如32）会导致训练发散或性能不足，最优性能出现在256批量大小。