[论文解读] Topology-aware Federated Learning in Edge Computing: A Comprehensive Survey

Jiajun Wu, Steve Drew+3 more|arXiv (Cornell University)|Feb 6, 2023

Privacy-Preserving Technologies in Data参考文献 158被引用 7

一句话总结

本综述提出面向异构、动态边缘计算网络的拓扑感知联邦学习（FL）框架，通过利用星型、树型、去中心化及混合拓扑结构，优化通信效率、隐私保护与容错能力。结果表明，拓扑感知设计显著提升了收敛速度，降低了通信开销，并增强了真实边缘部署中模型的公平性与鲁棒性。

ABSTRACT

The ultra-low latency requirements of 5G/6G applications and privacy constraints call for distributed machine learning systems to be deployed at the edge. With its simple yet effective approach, federated learning (FL) is a natural solution for massive user-owned devices in edge computing with distributed and private training data. FL methods based on FedAvg typically follow a naive star topology, ignoring the heterogeneity and hierarchy of the volatile edge computing architectures and topologies in reality. Several other network topologies exist and can address the limitations and bottlenecks of the star topology. This motivates us to survey network topology-related FL solutions. In this paper, we conduct a comprehensive survey of the existing FL works focusing on network topologies. After a brief overview of FL and edge computing networks, we discuss various edge network topologies as well as their advantages and disadvantages. Lastly, we discuss the remaining challenges and future works for applying FL to topology-specific edge networks.

研究动机与目标

• 解决原始FedAvg在真实边缘网络中的局限性，其忽略了网络异构性与动态拓扑结构。
• 研究不同网络拓扑结构（星型、树型、去中心化、混合型）对边缘联邦学习中通信效率、模型收敛性与系统鲁棒性的影响。
• 识别并解决边缘FL中的关键挑战，包括设备异构性、链路不稳定、隐私泄露，以及由噪声设备引起的模型更新不公平问题。
• 提出拓扑感知解决方案，以提升去中心化与分层边缘FL架构中的能效、模型公平性与可用性。
• 基于其底层网络拓扑结构，提供现有FL框架与算法的全面分类与分析。

提出的方法

• 将边缘网络拓扑结构划分为星型、树型、去中心化（gossip/网格）、环型、完全图、网格型与混合型结构，分析其结构与性能权衡。
• 引入拓扑控制机制，根据设备可用性、带宽与能量约束动态调整通信模式，以降低通信成本并提高可靠性。
• 提出机会式路由与模型聚合策略，通过引入跨集群模型更新，缓解由噪声或主导性边缘设备带来的偏差。
• 集成隐私保护技术，如在动态邻居集合间进行模型混合，以降低对差分隐私攻击的脆弱性。
• 在物理集群之上设计面向可用性的叠加网络，通过复制与冗余实现故障容错与负载均衡。
• 使用收敛速度、通信轮次、能耗与模型公平性等指标，在真实边缘环境下评估不同拓扑结构的FL性能。

Figure 1 . An example showing the statistical heterogeneity among different types of clients in FL. Depending on how the clients generate data, the statistical distributions and patterns of data on each device can be very different.

实验结果

研究问题

• RQ1 不同网络拓扑结构（如星型、树型、网格型）如何影响边缘网络联邦学习中的通信效率与收敛性？
• RQ2 哪些拓扑控制策略可减轻设备异构性、链路不稳定与间歇性连接对边缘FL系统的影响？
• RQ3 拓扑感知设计如何改善模型公平性，并减少在基于集群的FL架构中由主导或噪声设备引起的偏差？
• RQ4 动态拓扑自适应如何通过减少模型暴露与差分隐私风险，增强联邦学习中的隐私保护？
• RQ5 叠加拓扑结构与复制技术在确保边缘服务器模型聚合过程中的高可用性与容错能力方面发挥何种作用？

主要发现

• 与标准FedAvg相比，拓扑感知FL设计显著减少了通信轮次并提升了收敛速度，尤其在高时延或带宽受限的边缘环境中表现更优。
• 在动态与不可靠网络中，混合型与去中心化拓扑结构（如网格型、基于gossip的结构）优于星型拓扑，因其具备更好的容错能力与负载分布特性。
• 引入跨集群模型更新的机会式路由显著提升了本地模型的公平性，尤其在存在主导或噪声设备的集群中效果明显。
• 在拓扑感知网络中通过动态邻居选择实现的模型混合，通过增加模型暴露模式的多样性，降低了差分隐私攻击的风险。
• 叠加网络拓扑结构通过在边缘服务器间实现复制与故障转移，即使单个集群头失效，也能确保模型聚合任务的高可用性。
• 面向能效的拓扑控制通过减少冗余传输并优化数据路由路径，显著降低了边缘设备的功耗。

Figure 2 . A demonstration of system heterogeneity. Three different tiers of edge devices have distinct capabilities of computing, connected by links with different bandwidths.