[论文解读] Resource-Constrained Decentralized Federated Learning via Personalized Event-Triggering

Shahryar Zehtabi, Seyyedali Hosseinalipour+1 more|arXiv (Cornell University)|Nov 23, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种资源受限的去中心化联邦学习框架，采用个性化事件触发通信机制，以减少冗余传输并提升边缘设备的效率。通过根据本地参数变化和可用资源动态触发模型更新，该方法实现了以 $\mathcal{O}(\frac{\ln k}{\sqrt{k}})$ 的速率收敛至全局最优模型，其收敛速度和通信效率优于现有的去中心化联邦学习基线方法。

ABSTRACT

Federated learning (FL) is a popular technique for distributing machine learning (ML) across a set of edge devices. In this paper, we study fully decentralized FL, where in addition to devices conducting training locally, they carry out model aggregations via cooperative consensus formation over device-to-device (D2D) networks. We introduce asynchronous, event-triggered communications among the devices to handle settings where access to a central server is not feasible. To account for the inherent resource heterogeneity and statistical diversity challenges in FL, we define personalized communication triggering conditions at each device that weigh the change in local model parameters against the available local network resources. We theoretically recover the $O(\ln{k} / \sqrt{k})$ convergence rate to the globally optimal model of decentralized gradient descent (DGD) methods in the setup of our methodology. We provide our convergence guarantees for the last iterates of models, under relaxed graph connectivity and data heterogeneity assumptions compared with the existing literature. To do so, we demonstrate a $B$-connected information flow guarantee in the presence of sporadic communications over the time-varying D2D graph. Our subsequent numerical evaluations demonstrate that our methodology obtains substantial improvements in convergence speed and/or communication savings compared to existing decentralized FL baselines.

研究动机与目标

• 为解决在无中心协调器或不切实际的自组织及资源受限边缘网络中集中式联邦学习的局限性。
• 通过引入异步、事件触发的模型聚合，消除时间同步需求并减少去中心化联邦学习中的冗余通信。
• 通过基于本地模型变化和可用资源定义个性化通信触发条件，考虑设备级别的资源异构性。
• 在标准分布式学习假设下，理论证明可收敛至全局最优模型。
• 通过实验验证相较于现有去中心化联邦学习基线方法，该方法在收敛速度和通信开销方面均有提升。

提出的方法

• 设备执行本地模型训练，并仅在满足基于本地模型参数变化和本地资源可用性的个性化事件触发条件时才进行通信。
• 采用去中心化一致性机制，通过物理网络图中的单跳邻居通信实现，替代集中式联邦学习的星型拓扑结构。
• 通信触发条件被定义为一个阈值，用以在模型更新的重要性与本地能量和带宽约束之间取得平衡。
• 采用递减步长策略 $\alpha^{(k)} = \frac{\alpha^{(0)}}{(1 + \frac{k}{\gamma})^\theta}$，其中 $\theta \in (0.5, 1]$，以确保收敛。
• 理论分析利用对数积分函数和一致性误差的界，在分布式优化的标准假设下推导收敛速率。
• 数值评估采用非独立同分布数据和随机几何通信拓扑结构，在 Fashion-MNIST 上使用 LeNet5 模型以验证性能。

实验结果

研究问题

• RQ1 能否设计一种完全去中心化的联邦学习系统，而无需依赖中心协调器或时间同步？
• RQ2 如何为每个设备个性化事件触发通信机制，以应对边缘设备中的异构资源约束？
• RQ3 在标准假设下，使用个性化事件触发通信的去中心化联邦学习系统的理论收敛速率是多少？
• RQ4 所提出方法在非凸学习场景（如深度神经网络）中是否仍能保持性能优势？
• RQ5 与现有去中心化联邦学习基线方法相比，该方法在收敛速度和通信效率方面表现如何？

主要发现

• 在分布式学习和一致性文献的标准假设下，所提方法实现了 $\mathcal{O}(\frac{\ln k}{\sqrt{k}})$ 的全局收敛速率。
• 通过基于个性化阈值仅在有意义的模型变化发生时触发传输，显著降低了通信开销。
• 在 LeNet5 与 Fashion-MNIST 上的数值评估表明，即使在不假设凸性的情况下，该方法仍保持强劲性能，证实了其在非凸设置下的鲁棒性。
• 该方法在收敛速度和通信效率方面均优于现有去中心化联邦学习基线方法，尤其在资源受限和异构环境中表现更优。
• 理论分析证实，采用 $\theta \in (0.5, 1]$ 的递减步长策略可确保收敛，且收敛速率取决于 $\theta$ 的选择。
• 使用对数积分函数来界定一致性误差，使得在异步、事件触发通信条件下能够实现紧密的理论收敛分析。