[论文解读] When does the student surpass the teacher? Federated Semi-supervised Learning with Teacher-Student EMA

Jessica Zhao, Sayan Ghosh+2 more|arXiv (Cornell University)|Jan 24, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出 FedSwitch，一种新颖的联邦半监督学习框架，通过基于 KL 散度的准则，动态在教师模型与学生模型之间切换以生成伪标签。通过实现本地教师模型的自适应与自适应切换，FedSwitch 在 CIFAR-10 和 Fashion MNIST 上实现了最先进（SOTA）的准确率，同时在非独立同分布（non-IID）数据下表现出更强的鲁棒性，通信开销极低，并且保持了客户端隐私与无状态性。

ABSTRACT

Semi-Supervised Learning (SSL) has received extensive attention in the domain of computer vision, leading to development of promising approaches such as FixMatch. In scenarios where training data is decentralized and resides on client devices, SSL must be integrated with privacy-aware training techniques such as Federated Learning. We consider the problem of federated image classification and study the performance and privacy challenges with existing federated SSL (FSSL) approaches. Firstly, we note that even state-of-the-art FSSL algorithms can trivially compromise client privacy and other real-world constraints such as client statelessness and communication cost. Secondly, we observe that it is challenging to integrate EMA (Exponential Moving Average) updates into the federated setting, which comes at a trade-off between performance and communication cost. We propose a novel approach FedSwitch, that improves privacy as well as generalization performance through Exponential Moving Average (EMA) updates. FedSwitch utilizes a federated semi-supervised teacher-student EMA framework with two features - local teacher adaptation and adaptive switching between teacher and student for pseudo-label generation. Our proposed approach outperforms the state-of-the-art on federated image classification, can be adapted to real-world constraints, and achieves good generalization performance with minimal communication cost overhead.

研究动机与目标

• 为解决现有联邦半监督学习（FSSL）方法在客户端隐私保护或假设客户端具有持久状态方面存在的局限性。
• 探究在联邦设置中集成指数移动平均（EMA）更新所面临的挑战，特别是通信成本与模型同步问题。
• 设计一种实用的 FSSL 框架，在现实约束（如数据非独立同分布与低通信开销）下保持高泛化性能。
• 开发一种在教师与学生模型之间动态切换的伪标签生成机制，以适应客户端特定的数据分布。

提出的方法

• FedSwitch 采用联邦教师-学生 EMA 框架，其中全局与本地的学生和教师模型均在客户端与服务器之间维护。
• 通过 EMA 更新，本地教师模型被适应于客户端数据，使其能够随时间跟踪学生模型的分布变化。
• 使用 KL 散度度量来评估学生模型与教师模型在未标记数据上的输出分布之间的差异。
• 基于该度量，FedSwitch 动态地在使用教师模型或学生模型为每个客户端生成伪标签之间切换，从而在非独立同分布条件下提升标签质量。
• 通过避免客户端之间的模型共享，确保了隐私；通过不在客户端端持久存储模型，保持了客户端无状态性。
• 通过仅向服务器传输学生模型权重，而将本地 EMA 更新保留在客户端执行，最小化了通信开销。

实验结果

研究问题

• RQ1 如何在不产生高昂通信成本或违反隐私约束的前提下，有效将基于 EMA 的教师-学生训练集成到联邦半监督学习中？
• RQ2 在非独立同分布的联邦设置下，将教师更新集中于服务器（服务器 EMA）与分布于各客户端（客户端 EMA）之间，性能权衡如何？
• RQ3 在高数据非独立同分布程度下，教师与学生模型之间动态切换伪标签生成机制是否能提升泛化性能？
• RQ4 与 FedMatch 和 FedProx-FixMatch 等最先进联邦半监督学习方法相比，FedSwitch 在准确率、收敛稳定性及对数据不平衡的鲁棒性方面表现如何？
• RQ5 本地教师模型的自适应在多大程度上提升了联邦半监督学习中的伪标签质量与模型泛化能力？

主要发现

• FedSwitch 在非独立同分布数据设置下于 CIFAR-10 上实现了最先进（SOTA）的测试准确率，优于 FedProx-FixMatch、FedMatch 和 FedRGD。
• 该方法在客户端数据非独立同分布程度不断提高时表现出更优的鲁棒性，即使 Dirichlet α 参数降低至 0.1，仍能保持高性能。
• 与基线方法相比，FedSwitch 展现出更平滑的收敛曲线与更低的模型方差，表明其训练动态更具稳定性。
• KL 散度分析表明，FedSwitch 维持的伪标签分布比 TS-Server EMA 和 TS-Client EMA 更接近真实客户端数据分布，尤其在高非独立同分布程度下。
• FedSwitch 仅需向服务器传输学生模型权重，避免了教师模型共享或集中更新，因此实现了极低的通信开销，同时保持高性能。
• 动态切换机制使系统能够自适应地使用最可靠的模型（教师或学生）进行伪标签生成，从而在分布偏移下提升标签质量。