[论文解读] Multi-Stage Hybrid Federated Learning over Large-Scale Wireless Fog Networks.

Seyyedali Hosseinalipour, Sheikh Shams Azam+5 more|arXiv (Cornell University)|Jul 18, 2020

Privacy-Preserving Technologies in Data参考文献 23被引用 11

一句话总结

本文提出了一种新型联邦学习框架——多阶段混合模型训练（MH-MT），专为大规模无线 fog 网络设计，结合了多阶段参数中继与分层集群间的分布式一致性机制。通过自适应调节每簇的共识轮数，该方法实现了更快的收敛速度和更高的资源利用率，其理论收敛边界与控制策略可确保在不同网络与模型条件下具有有限的最优性间隙或达到全局最优。

ABSTRACT

One of the popular methods for distributed machine learning (ML) is federated learning, in which devices train local models based on their datasets, which are in turn aggregated periodically by a server. In large-scale fog networks, the star learning topology of federated learning poses several challenges in terms of resource utilization. We develop multi-stage hybrid model training (MH-MT), a novel learning methodology for distributed ML in these scenarios. Leveraging the hierarchical structure of fog systems, MH-MT combines multi-stage parameter relaying with distributed consensus formation among devices in a hybrid learning paradigm across network layers. We theoretically derive the convergence bound of MH-MT with respect to the network topology, ML model, and algorithm parameters such as the rounds of consensus employed in different clusters of devices. We obtain a set of policies for the number of consensus rounds at different clusters to guarantee either a finite optimality gap or convergence to the global optimum. Subsequently, we develop an adaptive distributed control algorithm for MH-MT to tune the number of consensus rounds at each cluster of local devices over time to meet convergence criteria. Our numerical experiments validate the performance of MH-MT in terms of convergence speed and resource utilization.

研究动机与目标

• 解决大规模无线 fog 网络中星型拓扑联邦学习存在的资源利用效率低下问题。
• 克服传统联邦学习中集中式参数聚合所导致的可扩展性与通信瓶颈问题。
• 利用雾计算的分层结构，实现低延迟、低带宽消耗的分布式分层模型训练。
• 理论上分析所提出的混合训练框架在不同网络拓扑、模型复杂度与算法参数下的收敛行为。
• 设计自适应控制策略，动态调整每簇的共识轮数，确保收敛至全局最优或保持有限最优性间隙。

提出的方法

• 设计一种多阶段混合训练范式，将模型聚合过程划分为雾网络簇间的分层层级。
• 在每个簇内设备间实现分布式一致性形成，以减少对中心服务器协调的依赖。
• 提出 MH-MT 的理论收敛边界，其依赖于网络拓扑、模型架构与每簇的共识轮数。
• 推导出每簇共识轮数的最优策略，以保证收敛至全局最优或维持有限最优性间隙。
• 开发一种自适应分布式控制算法，根据收敛准则与本地网络条件实时调节共识轮数。
• 通过数值实验验证在不同网络与模型配置下，收敛速度与资源效率的性能表现。

实验结果

研究问题

• RQ1 如何重构联邦学习以提升大规模、分层雾网络在星型拓扑限制下的资源利用率？
• RQ2 结合参数中继与分布式一致性的多阶段混合训练框架的理论收敛行为是什么？
• RQ3 何种每簇共识轮数的策略可确保 MH-MT 收敛至全局最优或保持有限最优性间隙？
• RQ4 如何自适应地控制各簇的共识轮数，以满足收敛准则的同时最小化资源消耗？
• RQ5 在大规模无线 fog 网络中，MH-MT 相较于标准联邦学习在收敛速度与通信效率方面提升程度如何？

主要发现

• 通过在簇内实现分布式一致性，MH-MT 减少了中心服务器负载，相比传统联邦学习实现了更快的收敛速度。
• 理论分析表明，MH-MT 的收敛结果取决于每簇的共识轮数，可收敛至全局最优或维持有限最优性间隙。
• 基于网络拓扑、模型复杂度与算法参数，推导出每簇共识轮数的最优策略，确保收敛性保障。
• 自适应分布式控制算法可动态调整每簇的共识轮数，提升收敛效率，且无需预先掌握全局模型动态。
• 数值实验表明，MH-MT 在多种网络与模型配置下均显著提升了收敛速度与资源利用率。
• MH-MT 通过去中心化聚合与分层聚类机制，有效缓解了大规模雾网络中的通信瓶颈。