[论文解读] Real-World Image Datasets for Federated Learning

Jiahuan Luo, Xueyang Wu+5 more|arXiv (Cornell University)|Oct 14, 2019

Privacy-Preserving Technologies in Data参考文献 23被引用 67

一句话总结

论文介绍了 Street Dataset，一种来自街景摄像头的现实世界、非 IID 图像数据集，用于联邦学习，并在 varied non-IID 数据分区下基准测试 YOLOv3 和 Faster R-CNN 与 FedAvg 的性能。

ABSTRACT

Federated learning is a new machine learning paradigm which allows data parties to build machine learning models collaboratively while keeping their data secure and private. While research efforts on federated learning have been growing tremendously in the past two years, most existing works still depend on pre-existing public datasets and artificial partitions to simulate data federations due to the lack of high-quality labeled data generated from real-world edge applications. Consequently, advances on benchmark and model evaluations for federated learning have been lagging behind. In this paper, we introduce a real-world image dataset. The dataset contains more than 900 images generated from 26 street cameras and 7 object categories annotated with detailed bounding box. The data distribution is non-IID and unbalanced, reflecting the characteristic real-world federated learning scenarios. Based on this dataset, we implemented two mainstream object detection algorithms (YOLO and Faster R-CNN) and provided an extensive benchmark on model performance, efficiency, and communication in a federated learning setting. Both the dataset and algorithms are made publicly available.

研究动机与目标

• 提供一个真实世界的图像数据集，反映非 IID 和不平衡的联邦设置。
• 标注并分析跨摄像头的对象分布。
• 在联邦学习设置中对两个目标检测模型（YOLOv3 和 Faster R-CNN）进行基准测试。
• 在联邦约束下评估模型性能、效率与通信成本。

提出的方法

• 采集并使用七个对象类别对街景摄像头图像进行标注。
• 将数据分割为 Street-5 和 Street-20，以模拟多客户端联邦设置。
• 采用可配置的 C（每轮客户端数）、E（本地训练轮数）和 B（批大小）的 FedAvg。
• 使用带有预训练骨干网络的 PyTorch 实现的 YOLOv3 与 Faster R-CNN（Faster R-CNN 使用 VGG16，YOLOv3 使用 Darknet-53）。
• 在 0.5 IOU 阈值下使用 IOU 和 mean average precision (mAP) 进行评估。
• 提供基线结果并分析数据非 IID 性和客户端参与对收敛与通信的影响。

实验结果

研究问题

• RQ1 现实世界的非 IID 和不平衡数据如何影响目标检测的联邦学习？
• RQ2 在街区数据集的联邦 Street 设置中，将 FedAvg 应用于 YOLOv3 和 Faster R-CNN 时，性能与通信权衡如何？
• RQ3 预训练权重是否能缓解联邦目标检测中的数据稀缺和非 IID 挑战？
• RQ4 不同客户端数量（Street-5 vs Street-20）以及本地训练轮次设置如何影响收敛与 mAP？

主要发现

• 创建了一个包含 26 个摄像头和 7 个对象类别的真实世界 Street Dataset，显示出非 IID 和不平衡分布。
• 在 Street-5 和 Street-20 的分割下，对两种目标检测器（YOLOv3 和 Faster R-CNN）进行了 FedAvg 基准测试。
• 预训练显著改善早期收敛和最终 mAP，尤其是在 Street-20 上每个客户端样本较少的情况下。
• 较大的本地训练轮次（E）可以加速早期收敛，但在高度非 IID 情况下未必总是带来最佳最终性能。
• FedAvg 可以达到与集中式训练相当的性能，收敛行为取决于 C（每轮客户端数）和 E（本地训练轮次）。
• 达到目标 mAP 的通信成本因模型规模和联邦配置而有显著差异，YOLOv3 相比 Faster R-CNN 需要的轮次和数据传输更少。