[论文解读] PromptFL: Let Federated Participants Cooperatively Learn Prompts Instead of Models -- Federated Learning in Age of Foundation Model

Tao Guo, Song Guo+2 more|arXiv (Cornell University)|Aug 24, 2022

Privacy-Preserving Technologies in Data被引用 12

一句话总结

PromptFL 提出了一种新颖的联邦学习框架，用基于基础模型（如 CLIP）的协同提示微调替代传统的模型训练，实现了在边缘设备上高效、隐私保护且数据高效的联邦学习。通过仅训练轻量级软提示（soft prompts）而非完整模型，PromptFL 将通信和计算成本降低了最多 110 倍，并在非独立同分布（non-IID）和少样本（few-shot）设置下仍能实现具有竞争力的准确率，且参数量极小。

ABSTRACT

Quick global aggregation of effective distributed parameters is crucial to federated learning (FL), which requires adequate bandwidth for parameters communication and sufficient user data for local training. Otherwise, FL may cost excessive training time for convergence and produce inaccurate models. In this paper, we propose a brand-new FL framework, PromptFL, that replaces the federated model training with the federated prompt training, i.e., let federated participants train prompts instead of a shared model, to simultaneously achieve the efficient global aggregation and local training on insufficient data by exploiting the power of foundation models (FM) in a distributed way. PromptFL ships an off-the-shelf FM, i.e., CLIP, to distributed clients who would cooperatively train shared soft prompts based on very few local data. Since PromptFL only needs to update the prompts instead of the whole model, both the local training and the global aggregation can be significantly accelerated. And FM trained over large scale data can provide strong adaptation capability to distributed users tasks with the trained soft prompts. We empirically analyze the PromptFL via extensive experiments, and show its superiority in terms of system feasibility, user privacy, and performance.

研究动机与目标

• 解决由于边缘设备带宽受限和本地数据不足导致的联邦学习中通信和计算成本过高的问题。
• 探究基础模型是否可通过提示微调实现高效、隐私保护且数据高效的联邦学习。
• 评估基于提示的联邦学习框架在真实边缘环境下的可行性、性能和隐私保障能力。
• 在独立同分布（IID）和非独立同分布（non-IID）数据分布下，对比 PromptFL 与标准联邦学习基线的性能和效率。
• 分析数据分布、样本数量和客户端数量对提示学习稳定性与准确率的影响。

提出的方法

• PromptFL 用连续软提示的协同训练替代联邦模型训练，利用预训练的基础模型（如 CLIP）作为共享主干网络。
• 每个客户端仅在其本地数据上微调软提示标记，而基础模型权重保持冻结。
• 全局聚合通过平均客户端之间的提示参数梯度实现，而非完整模型权重的聚合。
• 该框架采用 CLIP 作为即插即用的基础模型，通过提示微调实现零样本泛化和强大的少样本适应能力。
• 通信开销大幅降低，因为每轮仅传输小型提示参数（占完整模型大小的 0.01%–0.1%）。
• 训练通过减少 GPU 显存使用和加快收敛速度而加速，PromptFL 在标准联邦学习一半的训练轮次内即可实现收敛。

实验结果

研究问题

• RQ1 使用基础模型进行提示微调是否能显著降低联邦学习中的通信和计算成本，同时保持模型性能？
• RQ2 在标准联邦学习难以应对的非独立同分布（non-IID）和少样本（few-shot）数据设置下，PromptFL 的表现如何？
• RQ3 类别重叠和数据分布偏移对基于提示的联邦学习稳定性与准确率有何影响？
• RQ4 客户端数量和样本数量如何影响 PromptFL 的性能与收敛性？
• RQ5 与标准联邦学习相比，PromptFL 在用户隐私保护方面程度如何？

主要发现

• 由于仅传输小型提示参数而非完整模型权重，PromptFL 每轮通信成本相比标准微调最高降低 110 倍。
• PromptFL 实现收敛所需的训练轮次约为标准联邦学习的一半，显著加速了训练过程。
• 仅使用完整模型 0.01% 至 0.1% 的可学习参数，PromptFL 在 IID 和 non-IID 数据设置下均实现了具有竞争力的准确率和 F1 分数。
• 在类别重叠比例（0% 至 50%）变化时性能保持稳定，50% 重叠时仅有轻微提升，表明对数据分布偏移具有鲁棒性。
• 在少样本设置下（2–16 张样本），随着样本数增加性能提升，当每个客户端具备足够的类别覆盖时，Caltech101 数据集上 16 张样本时准确率稳定在约 89%。
• 当客户端数量从 16 增加到 64 时，只要每个客户端具备足够的类别覆盖，PromptFL 仍能保持一致的性能，展现出良好的可扩展性和鲁棒性。