[论文解读] Prototype Guided Federated Learning of Visual Feature Representations

Umberto Michieli, Mete Özay|arXiv (Cornell University)|May 19, 2021

Privacy-Preserving Technologies in Data参考文献 59被引用 25

一句话总结

这篇论文提出 FedProto，一种基于原型边际引导的联邦优化方法，用于视觉特征表示，在异质化的联邦学习场景下提升分类与语义分割的准确性和收敛性。它还使用新颖的基于边际的度量和熵分析来分析特征表示的属性。

ABSTRACT

Federated Learning (FL) is a framework which enables distributed model training using a large corpus of decentralized training data. Existing methods aggregate models disregarding their internal representations, which are crucial for training models in vision tasks. System and statistical heterogeneity (e.g., highly imbalanced and non-i.i.d. data) further harm model training. To this end, we introduce a method, called FedProto, which computes client deviations using margins of prototypical representations learned on distributed data, and applies them to drive federated optimization via an attention mechanism. In addition, we propose three methods to analyse statistical properties of feature representations learned in FL, in order to elucidate the relationship between accuracy, margins and feature discrepancy of FL models. In experimental analyses, FedProto demonstrates state-of-the-art accuracy and convergence rate across image classification and semantic segmentation benchmarks by enabling maximum margin training of FL models. Moreover, FedProto reduces uncertainty of predictions of FL models compared to the baseline. To our knowledge, this is the first work evaluating FL models in dense prediction tasks, such as semantic segmentation.

研究动机与目标

• 通过利用内部表示而不仅仅是模型权重来改进视觉任务的联邦学习的动机。
• 开发基于原型的注意力机制，在具有非独立同分布数据的异质性联邦学习中驱动聚合。
• 引入并分析跨客户端和轮次的原型表示学习动力学。
• 提供度量指标和定性工具，用于研究联邦学习任务（如分割）中的特征表示。

提出的方法

• 从潜在特征在每个客户端计算按类别划分的原型表示。
• 定义本地原型边距（LPM）和聚合原型边距（APM）来衡量原型位移。
• 引入语义边距（SPM）以比较同类内外的原型距离。
• 通过 Sigmoid 从边距计算局部与聚合注意力权重，并使用这些注意力进行联邦聚合。
• 允许部分本地工作负载，并使用一种新颖的两子句注意力在 FedAvg 风格更新中结合本地与聚合偏差。
• 提供一个将原型和注意力整合到联邦学习优化循环中的算法（FedProto）。

实验结果

研究问题

• RQ1 在系统和统计异质性条件下，原型边距是否能够提升面向视觉模型的联邦感知优化？
• RQ2 基于边距的原型分析是否与分类和分割的准确性提升和收敛性相关？
• RQ3 局部与聚合原型的变化如何在不同轮次和客户端中反映在模型性能上？
• RQ4 在异质性联邦学习设置中，基于原型的引导注意力是否优于经典的 FedAvg 以及现有的注意力方法？
• RQ5 有哪些可靠的指标可用于分析在联邦视觉模型中学习到的特征表示？

主要发现

• FedProto在多个数据集上的图像分类基准测试中实现了最先进的准确性和收敛速度。
• FedProto在分类任务中优于 FedAvg、FedProx 和 FedAtt，并且梯度相似性较低，表示更好的收敛。
• 原型边距（LPM 和 APM）以及联邦注意力共同改善潜在空间的组织与正则化，与中心化训练行为一致。
• 聚合平均边距（AMM）与更高准确性相关，且 FedProto 相较其他优化器获得更大的 AMM。
• 联邦特征差异（FFD）分析显示 FedProto 的特征在多个数据集上比 FedAvg 更接近中心化训练。
• 在语义分割任务上对 FedProto 进行评估，显示对非独立同分布数据的鲁棒性，并在分割指标（mIoU）上超过 FedAvg。