[论文解读] RSCFed: Random Sampling Consensus Federated Semi-supervised Learning

Xiaoxiao Liang, Yiqun Lin+3 more|arXiv (Cornell University)|Mar 26, 2022

Privacy-Preserving Technologies in Data被引用 9

一句话总结

RSCFed 提出了一种新颖的联邦半监督学习框架，通过在客户端上进行随机子采样以提炼多个子共识模型，随后采用距离加权聚合，显著提升了非独立同分布（Non-IID）设置下的鲁棒性。在基准数据集上，其准确率最高提升3.98%，AUC最高提升3.5%，尤其在未标记客户端比例较高的情况下表现更优。

ABSTRACT

Federated semi-supervised learning (FSSL) aims to derive a global model by training fully-labeled and fully-unlabeled clients or training partially labeled clients. The existing approaches work well when local clients have independent and identically distributed (IID) data but fail to generalize to a more practical FSSL setting, i.e., Non-IID setting. In this paper, we present a Random Sampling Consensus Federated learning, namely RSCFed, by considering the uneven reliability among models from fully-labeled clients, fully-unlabeled clients or partially labeled clients. Our key motivation is that given models with large deviations from either labeled clients or unlabeled clients, the consensus could be reached by performing random sub-sampling over clients. To achieve it, instead of directly aggregating local models, we first distill several sub-consensus models by random sub-sampling over clients and then aggregating the sub-consensus models to the global model. To enhance the robustness of sub-consensus models, we also develop a novel distance-reweighted model aggregation method. Experimental results show that our method outperforms state-of-the-art methods on three benchmarked datasets, including both natural and medical images. The code is available at https://github.com/XMed-Lab/RSCFed.

研究动机与目标

• 为解决现有联邦半监督学习（FSSL）方法在非独立同分布（Non-IID）数据设置下泛化能力差的问题，其中标记与未标记客户端的模型可靠性不均衡。
• 消除对共享相关矩阵或等权重聚合的依赖，避免在异构数据环境中引发信息泄露或模型退化。
• 设计一种动态加权的聚合机制，根据本地模型与子共识模型的距离进行加权，提升全局模型的稳定性。
• 在不同标记/未标记客户端比例及通信成本约束下评估性能，确保方法具备实际可部署性。

提出的方法

• RSCFed 在每次联邦学习同步轮次中，对本地客户端执行多次随机子采样，以生成不同的子共识模型。
• 每个子共识模型通过随机选取的本地模型子集的权重平均形成，模拟来自客户端子集的共识。
• 距离加权聚合（DMA）模块为与当前子共识模型距离更近的本地模型分配更高权重，从而增强鲁棒性。
• 最终通过 DMA 加权方案聚合所有子共识模型，更新全局模型，降低不可靠或异常模型的影响。
• 该方法避免在客户端之间共享敏感信息，确保隐私并防止信息泄露。
• 超参数 M（子采样次数）和 K（每种子采样中的客户端数量）通过实验调优，M=3 且 K=5 时表现最优。

实验结果

研究问题

• RQ1 在非独立同分布联邦半监督学习中，对客户端进行随机子采样是否能提升模型共识与鲁棒性？
• RQ2 与均匀加权或启发式加权相比，距离加权聚合如何提升子共识模型的质量？
• RQ3 当未标记客户端比例较高时，RSCFed 是否仍能保持优于基线方法的性能，而现有方法在此情况下性能下降？
• RQ4 子采样操作的通信成本如何变化？RSCFed 在通信预算减少的情况下是否仍能超越基线方法？

主要发现

• 在包含15个客户端的 ISIC 2018 数据集上，RSCFed 达到 70.26% 的测试准确率与 95.5% 的 AUC，相较于 Fed-Consist [28] 在高未标记客户端比例下，准确率提升 3.98%，AUC 提升 3.5%。
• 在 10 个客户端（2 个标记，8 个未标记）设置下，RSCFed 相较于 FedIRM [21]，准确率提升 1.13%，AUC 提升 0.3%，精确率提升 0.86%，召回率提升 2.86%。
• 即使通信成本仅为 Fed-Consist [28] 的 0.8 倍，RSCFed 仍实现更高的准确率与 AUC，证明其在带宽受限环境下的高效性与鲁棒性。
• 消融实验表明，不同 M 和 K 值下性能下降极小，说明 RSCFed 对超参数选择具有高度稳定性与不敏感性。
• 距离加权聚合机制显著提升了子共识模型质量，所有数据集与设置下均表现出一致的性能增益。