[论文解读] SatFed: A Resource-Efficient LEO Satellite-Assisted Heterogeneous Federated Learning Framework

Yuxin Zhang, Zheng Lin+6 more|arXiv (Cornell University)|Sep 20, 2024

Satellite Communication Systems被引用 5

一句话总结

SatFed 引入了一种资源高效、卫星辅助的异构联邦学习框架，该框架利用基于新鲜度的模型优先级排序和异构多图来在数据、带宽和计算异质性下改进训练。它在真实的低地球轨道（LEO）卫星场景中相对于基线显示出更优的收敛性和准确性提升。

ABSTRACT

Traditional federated learning (FL) frameworks rely heavily on terrestrial networks, where coverage limitations and increasing bandwidth congestion significantly hinder model convergence. Fortunately, the advancement of low-Earth orbit (LEO) satellite networks offers promising new communication avenues to augment traditional terrestrial FL. Despite this potential, the limited satellite-ground communication bandwidth and the heterogeneous operating environments of ground devices-including variations in data, bandwidth, and computing power-pose substantial challenges for effective and robust satellite-assisted FL. To address these challenges, we propose SatFed, a resource-efficient satellite-assisted heterogeneous FL framework. SatFed implements freshness-based model prioritization queues to optimize the use of highly constrained satellite-ground bandwidth, ensuring the transmission of the most critical models. Additionally, a multigraph is constructed to capture real-time heterogeneous relationships between devices, including data distribution, terrestrial bandwidth, and computing capability. This multigraph enables SatFed to aggregate satellite-transmitted models into peer guidance, enhancing local training in heterogeneous environments. Extensive experiments with real-world LEO satellite networks demonstrate that SatFed achieves superior performance and robustness compared to state-of-the-art benchmarks.

研究动机与目标

• 在混合卫星-地面网络中动机化联邦学习，原因是上行带宽有限以及地面设备异质性。
• 设计一个框架，使新鲜模型优先用于卫星传输，以缓解带宽约束。
• 通过多图捕捉设备异质性，在本地更新期间引导对等模型的使用。
• 实现异步的、卫星辅助的对等引导，以在非IID和计算环境变化中改进本地训练。
• 在具有异质数据和设备的真实LEO卫星启发设置中，证明SatFed的有效性。

提出的方法

• 引入用于卫星传输的基于新鲜度的模型优先队列，以缓解上行带宽瓶颈。
• 构建具有相似性、连通性和计算边的全局多图，以捕捉异质关系并指导本地更新。
• 将peer-guided模型 Omega_i 定义为缓存中对等模型的带新鲜度感知权重的加权综合。
• 使用对等更新速度指标动态调整本地学习率，以在设备之间平衡更新并改善全局收敛。
• 用一个包含本地损失、地面全局引导和卫星对等引导的损失来训练个性化模型 v_i（L = L_i + mu/2 ||v_i - w||^2 + lambda/2 ||v_i - Omega_i||^2）。
• 以异步地面全局模型聚合和基于卫星的对等交换来实现持续的本地更新。

实验结果

研究问题

• RQ1 如何通过新鲜度感知的卫星传输来缓解联邦学习中的带宽约束？
• RQ2 基于多图的设备异质性表示是否能够改进卫星辅助联邦学习中的聚合和本地更新？
• RQ3 在引入卫星对等引导与仅地面更新相比，在收敛速度和准确性方面的提升有多大？
• RQ4 应如何调整学习率以考虑不同的对等更新速度以稳定训练？
• RQ5 在现实LEO卫星网络条件和数据异质性（IID 与非IID）下，与基线相比，SatFed 的表现如何？

主要发现

Method	Fashion-MNIST IID	Fashion-MNIST Non-IID	CIFAR-100 IID	CIFAR-100 Non-IID
FedAvg	91.75 ± 5.07	91.26 ± 4.65	50.30 ± 4.39	54.57 ± 2.91
FedAsync	92.48 ± 4.67 (5.66×)	92.07 ± 3.40 (3.39×)	48.34 ± 5.91 (12.89×)	54.20 ± 3.27 (12.18×)
Ditto	94.07 ± 4.50 (1.08×)	93.41 ± 3.87 (0.89×)	58.56 ± 5.16 (3.39×)	52.82 ± 3.17 (1.31×)
Ditto-Async	93.88 ± 4.94 (3.72×)	92.85 ± 3.47 (2.36×)	56.31 ± 7.09 (22.22×)	53.06 ± 4.32 (10.91×)
SatFed(–)	91.89 ± 7.08 (3.34×)	92.05 ± 3.77 (3.70×)	58.41 ± 8.14 (25.72×)	53.75 ± 3.92 (11.84×)
SatFed	95.08 ± 3.02 (13.82×)	94.48 ± 2.23 (12.16×)	60.82 ± 5.23 (100.60×)	56.92 ± 2.97 (19.19×)

• SatFed 在 IID 与 non-IID 设置下，在 Fashion-MNIST 和 CIFAR-100 上均达到比基线更高的收敛精度。
• 在 Fashion-MNIST IID 下，SatFed 达到 95.08% 的准确率，相比替代方案在收敛速度上最高提升约 13.8 倍。
• 在 Fashion-MNIST non-IID 下，SatFed 实现 94.48% 的准确率，相比替代方案在速度上有显著提升（约 12.16x）。
• 在 CIFAR-100 IID 下，SatFed 达到 60.82% 的准确率，收敛速度比 FedAvg 提前约 100.6 倍。
• 在 CIFAR-100 non-IID 下，SatFed 达到 56.92% 的准确率，收敛速度比 FedAvg 提前约 19.19 倍。
• SatFed(-) 在没有对等引导的情况下仍然优于部分基线，说明部分卫星辅助更新的价值，尽管完整的 SatFed 提供最佳结果。