[论文解读] Robust Federated Learning with Connectivity Failures: A Semi-Decentralized Framework with Collaborative Relaying

Michal Yemini, Rajarshi Saha+3 more|arXiv (Cornell University)|Feb 24, 2022

Cooperative Communication and Network Coding被引用 8

一句话总结

本文提出了一种半去中心化的联邦学习框架，使客户端能够协作地相互转发模型更新至中心参数服务器，从而缓解因间歇性连接导致的性能下降。通过优化本地一致性权重，确保全局更新的无偏性且方差最小化，该方法在存在遮挡的无线网络中显著提升了收敛性能，实验验证基于毫米波条件下的CIFAR-10数据集。

ABSTRACT

Intermittent connectivity of clients to the parameter server (PS) is a major bottleneck in federated edge learning frameworks. The lack of constant connectivity induces a large generalization gap, especially when the local data distribution amongst clients exhibits heterogeneity. To overcome intermittent communication outages between clients and the central PS, we introduce the concept of collaborative relaying wherein the participating clients relay their neighbors' local updates to the PS in order to boost the participation of clients with poor connectivity to the PS. We propose a semi-decentralized federated learning framework in which at every communication round, each client initially computes a local consensus of a subset of its neighboring clients' updates, and eventually transmits to the PS a weighted average of its own update and those of its neighbors'. We appropriately optimize these local consensus weights to ensure that the global update at the PS is unbiased with minimal variance - consequently improving the convergence rate. Numerical evaluations on the CIFAR-10 dataset demonstrate that our collaborative relaying approach outperforms federated averaging-based benchmarks for learning over intermittently-connected networks such as when the clients communicate over millimeter wave channels with intermittent blockages.

研究动机与目标

• 为解决由于客户端与参数服务器之间间歇性连接，特别是在无线信道遮挡条件下导致的联邦学习性能下降问题。
• 克服传统联邦平均在存在掉队客户端（straggler）且客户端失去直接通信链路环境下的局限性。
• 设计一种鲁棒的学习框架，利用客户端间的协作来中继更新，确保在连接故障情况下仍能持续参与。
• 通过优化本地一致性权重，理论上保证全局更新的无偏性且方差最小化。
• 在实际无线边缘学习场景（如毫米波和移动机器人网络）中，展示改进的收敛性与泛化能力。

提出的方法

• 提出一种半去中心化的联邦学习框架，其中每个客户端在转发至参数服务器前，先计算其邻居更新的本地一致性。
• 每个客户端传输自身更新及其连接邻居更新的加权平均值，权重经优化以最小化方差并确保弱无偏性。
• 采用凸优化公式计算最优中继权重，平衡可靠性与收敛速度。
• 利用Karush–Kuhn–Tucker（KKT）条件求解在总权重和约束下的权重选择问题。
• 将网络建模为图结构，客户端通过概率性链路通信，链路可靠性通过传输成功率捕获。
• 通过建模链路可靠性并使用期望值作为优化目标中的参数，引入信道遮挡效应。

实验结果

研究问题

• RQ1 当客户端与参数服务器之间的直接通信因间歇性遮挡而中断时，客户端间的协作如何提升联邦学习的收敛性？
• RQ2 如何最优地加权客户端自身更新及其邻居的更新，以确保全局模型更新的无偏性且方差最小化？
• RQ3 在高遮挡率的无线网络（如毫米波系统）中，协作中继是否优于标准联邦平均方法？
• RQ4 所提出的半去中心化框架如何在动态且不可靠的连接条件下维持收敛性保证？
• RQ5 在非独立同分布（non-iid）和存在掉队客户端的联邦学习设置下，优化中继权重的理论影响是什么？

主要发现

• 所提出的协作中继框架在间歇性连接网络中，特别是在毫米波遮挡条件下，相比标准联邦平均方法实现了显著更快的收敛速度。
• 中继权重的优化确保了全局更新的弱无偏性，从而保持了学习算法的收敛性。
• 该框架有效减小了因连接较差的客户端产生延迟或缺失更新所导致的泛化差距。
• 在CIFAR-10上的数值评估表明，该方法在间歇性连接条件下，测试准确率和收敛速度均优于基线方法。
• 理论分析证实，目标函数在中继权重上是凸的，可通过KKT条件实现高效且稳定的优化。
• 该方法在无需修改底层学习算法或集中协调机制的前提下，有效缓解了通信掉队客户端的影响。