[论文解读] Relay-Assisted Cooperative Federated Learning

Zehong Lin, Hang Liu+1 more|arXiv (Cornell University)|Jul 20, 2021

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出了一种基于半双工放大转发中继的协作联邦学习方案，以缓解空中联邦学习中的迟滞者（straggler）问题。通过采用交替优化算法联合优化收发与中继操作，该方案降低了模型聚合误差，并在中继功率和信道增益足够高的情况下，相比最先进方法实现了更快的收敛速度。

ABSTRACT

Federated learning (FL) has recently emerged as a promising technology to enable artificial intelligence (AI) at the network edge, where distributed mobile devices collaboratively train a shared AI model under the coordination of an edge server. To significantly improve the communication efficiency of FL, over-the-air computation allows a large number of mobile devices to concurrently upload their local models by exploiting the superposition property of wireless multi-access channels. Due to wireless channel fading, the model aggregation error at the edge server is dominated by the weakest channel among all devices, causing severe straggler issues. In this paper, we propose a relay-assisted cooperative FL scheme to effectively address the straggler issue. In particular, we deploy multiple half-duplex relays to cooperatively assist the devices in uploading the local model updates to the edge server. The nature of the over-the-air computation poses system objectives and constraints that are distinct from those in traditional relay communication systems. Moreover, the strong coupling between the design variables renders the optimization of such a system challenging. To tackle the issue, we propose an alternating-optimization-based algorithm to optimize the transceiver and relay operation with low complexity. Then, we analyze the model aggregation error in a single-relay case and show that our relay-assisted scheme achieves a smaller error than the one without relays provided that the relay transmit power and the relay channel gains are sufficiently large. The analysis provides critical insights on relay deployment in the implementation of cooperative FL. Extensive numerical results show that our design achieves faster convergence compared with state-of-the-art schemes.

研究动机与目标

• 解决空中联邦学习中的迟滞者问题，其中弱无线信道主导了模型聚合误差。
• 通过利用中继协作提升上行链路传输可靠性，提高边缘人工智能中的通信效率与收敛速度。
• 克服现有方案排除迟滞者的局限性，避免训练数据多样性降低与收敛速度减慢的问题。
• 为中继辅助的空中联邦学习系统中的收发与中继操作设计低复杂度的优化框架。
• 对单中继场景下的模型聚合误差提供理论分析，以指导实际中继部署。

提出的方法

• 部署多个半双工放大转发中继，协助移动设备将本地模型更新上传至边缘服务器。
• 构建联合优化问题，针对设备预编码、中继波束成形与功率分配，以最小化模型聚合误差。
• 提出一种基于交替优化的算法，解耦并迭代优化收发与中继参数，实现低复杂度。
• 推导在不同信道增益与功率条件下模型聚合误差的闭式表达式，尤其关注单中继场景。
• 利用信噪比（SNR）阈值分析误差性能，表明当中继SNR与信道增益足够大时，中继辅助方案优于非中继系统。
• 建立基于SNR的不等式以推导误差降低的充分条件，将中继性能与系统整体聚合精度关联。

实验结果

研究问题

• RQ1 与无中继的传统方案相比，中继辅助的空中联邦学习是否能降低模型聚合误差？
• RQ2 在何种条件下，中继的部署可使空中联邦学习系统的聚合误差更低？
• RQ3 如何联合优化收发与中继操作，以在低计算复杂度下最小化模型聚合误差？
• RQ4 中继发射功率与中继到接入点（AP）的信道增益对协作联邦学习性能有何影响？
• RQ5 所提方案在保留迟滞者参与训练的情况下，是否保持或优于最先进方法的收敛速度，特别是在高衰落或高迟滞者场景下？

主要发现

• 当中继发射功率与中继到AP的信道增益足够大时，中继辅助方案的模型聚合误差小于非中继方案。
• 所提出的交替优化算法在保持高性能的同时，显著降低了系统复杂度。
• 理论分析表明，模型聚合误差受设备信道增益、中继功率与噪声的函数约束，且存在明确的SNR阈值以实现性能增益。
• 推导出误差降低的充分条件：SNR_{relay-AP} ≥ (K·min_SN R_k + δ) · min{1, 2ᾱ² / (1 - 2ᾱ²δ)}，其中 δ = min|h_k|² / min|g_k|²。
• 大量数值结果证实，所提方案相比最先进方法收敛更快，尤其在高衰落或高迟滞者场景下表现更优。
• 分析表明，最优中继部署需平衡设备信道质量与中继链路可靠性，且在有利的中继信道条件下性能增益更显著。