[论文解读] New Metrics to Evaluate the Performance and Fairness of Personalized Federated Learning

Siddharth Divi, Yi-Shan Lin+2 more|arXiv (Cornell University)|Jul 28, 2021

Privacy-Preserving Technologies in Data被引用 8

一句话总结

本文引入了一套全面的性能与公平性度量指标，用于评估个性化联邦学习（FL）方法，超越平均准确率。它表明，平均准确率最高的模型并不一定最公平，通过在CIFAR-10的三种非独立同分布（non-IID）数据划分上应用四种方法，揭示了用户级性能与跨客户端公平性提升之间的权衡。

ABSTRACT

In Federated Learning (FL), the clients learn a single global model (FedAvg) through a central aggregator. In this setting, the non-IID distribution of the data across clients restricts the global FL model from delivering good performance on the local data of each client. Personalized FL aims to address this problem by finding a personalized model for each client. Recent works widely report the average personalized model accuracy on a particular data split of a dataset to evaluate the effectiveness of their methods. However, considering the multitude of personalization approaches proposed, it is critical to study the per-user personalized accuracy and the accuracy improvements among users with an equitable notion of fairness. To address these issues, we present a set of performance and fairness metrics intending to assess the quality of personalized FL methods. We apply these metrics to four recently proposed personalized FL methods, PersFL, FedPer, pFedMe, and Per-FedAvg, on three different data splits of the CIFAR-10 dataset. Our evaluations show that the personalized model with the highest average accuracy across users may not necessarily be the fairest. Our code is available at https://tinyurl.com/1hp9ywfa for public use.

研究动机与目标

• 解决个性化联邦学习（FL）方法评估缺乏标准化的问题，同时考虑用户级性能与公平性。
• 指出现有研究严重依赖平均准确率，这掩盖了用户层面的性能差异，并忽略了公平性提升。
• 提出统一的度量框架，以定量评估个性化FL中的性能与公平性，实现方法间的更公平比较。
• 在CIFAR-10的三种非独立同分布数据划分上，对四种近期的个性化FL方法进行度量评估，揭示平均准确率与公平性之间的权衡。

提出的方法

• 引入五项性能度量：平均准确率（avg-acc）、个性化用户提升（PUI）、模型性能提升（MPI）和平均性能提升（API），用于评估用户级准确率的提升。
• 开发四项公平性度量：平均值（AV）、集中度评分（CS）、熵和Jaccard指数（JI），用于量化用户间性能提升的公平性。
• 将这些度量应用于四种个性化FL方法——PersFL、FedPer、pFedMe和Per-FedAvg——在CIFAR-10的三种非独立同分布数据划分（DS-1、DS-2、DS-3）上。
• 使用性能提升质量（QoI）作为用户级度量，分析分布公平性，通过密度图可视化用户间QoI的集中程度。
• 利用统计分析与可视化（密度图、公平性度量趋势）比较不同方法与数据划分下的公平性与性能权衡。
• 通过在 https://tinyurl.com/1hp9ywfa 公开发布代码，确保结果可复现，供公众使用与评估。

实验结果

研究问题

• RQ1 不同个性化FL方法在非独立同分布数据划分下的用户级准确率提升表现如何？
• RQ2 用户间平均准确率最高在多大程度上与用户间性能提升的公平性相关？
• RQ3 哪种个性化FL方法在高平均性能与客户端间提升分布的公平性之间实现了最佳平衡？
• RQ4 公平性度量（AV、CS、熵、JI）在捕捉用户间公平性能提升方面表现如何？
• RQ5 数据划分策略的选择是否显著影响个性化FL方法在公平性与性能方面的相对排名？

主要发现

• 在DS-3上，PersFL实现了最高的平均准确率（82.29%），但根据多项公平性度量，其并非最公平的方法。
• 在DS-2上，pFedMe的平均值（AV）最低，且CS、熵和JI值最高，表明其尽管性能与PersFL相近，却是最公平的方法。
• 在DS-1上，PersFL的QoI集中度最高，且公平性评分（CS、熵、JI）最佳，使其成为该划分下最公平的方法。
• FedPer在DS-3上AV最低，但在其他公平性度量上表现较差，表明其用户级提升不均衡。
• 平均准确率最高的模型（DS-3上的PersFL）并未始终排名最公平，表明平均性能与公平性之间存在明显权衡。
• 公平性度量揭示，即使平均准确率较高，部分用户仍可能经历最小或无提升，凸显了超越平均准确率进行公平评估的必要性。