[论文解读] TornadoAggregate: Accurate and Scalable Federated Learning via the Ring-Based Architecture

Jin‐Woo Lee, Jaehoon Oh+3 more|arXiv (Cornell University)|Dec 6, 2020

Privacy-Preserving Technologies in Data参考文献 38被引用 26

一句话总结

TornadoAggregate 提出了一种基于环形结构的联邦学习算法，通过解决环形架构固有的高方差问题，提升了准确率和可扩展性。它引入了三种原则——环形感知分组、小环结构和环形链接——以降低方差，实现了高达26.7%的测试准确率提升，并在 FedShakespeare 和 MNIST 等数据集上实现了接近线性的可扩展性。

ABSTRACT

Federated learning has emerged as a new paradigm of collaborative machine learning; however, many prior studies have used global aggregation along a star topology without much consideration of the communication scalability or the diurnal property relied on clients' local time variety. In contrast, ring architecture can resolve the scalability issue and even satisfy the diurnal property by iterating nodes without an aggregation. Nevertheless, such ring-based algorithms can inherently suffer from the high-variance problem. To this end, we propose a novel algorithm called TornadoAggregate that improves both accuracy and scalability by facilitating the ring architecture. In particular, to improve the accuracy, we reformulate the loss minimization into a variance reduction problem and establish three principles to reduce variance: Ring-Aware Grouping, Small Ring, and Ring Chaining. Experimental results show that TornadoAggregate improved the test accuracy by up to 26.7% and achieved near-linear scalability.

研究动机与目标

• 解决基于环形的联邦学习中固有的高方差问题，该问题尽管提升了可扩展性，却损害了模型准确率。
• 通过用环形架构替代星型拓扑，消除中心协调瓶颈，提升通信可扩展性。
• 通过允许节点在不依赖中心服务器的情况下迭代，支持联邦学习的昼夜特性，以适应随时间变化的客户端数据分布。
• 在保持或提升测试准确率的同时，实现接近线性的可扩展性，优于现有的星型和混合架构。
• 开发一种可扩展、高准确且通信高效的联邦学习框架，适用于真实世界中的移动和边缘环境。

提出的方法

• 引入环形感知分组原则，通过基于数据相似性的策略性组织节点分组，最小化组间与组内方差。
• 应用小环结构原则，通过优化组大小以减少方差，针对不同的数据分组策略，将组大小分别设为 2（IID）、5（随机）和 10（聚类）。
• 实施环形链接，以增加有效批量大小并提升节点利用率，从而在训练过程中降低梯度方差。
• 设计一种分层环形架构，包含全局环和组内环，实现在无中心协调的情况下平衡本地与全局模型更新。
• 采用改进的聚合规则，通过迭代式环形通信实现全局梯度的无偏估计，模拟集中式学习过程。
• 将环形架构与现有联邦学习框架（如 FedAvg）集成，实现向后兼容与便捷部署。

实验结果

研究问题

• RQ1 基于环形的联邦学习架构能否在克服先前环形方法高方差限制的同时，同时实现高可扩展性与高准确率？
• RQ2 环形感知分组、小环结构和环形链接三者如何协同降低方差并提升模型收敛性？
• RQ3 基于环形的聚合在减少通信开销的同时，能在多大程度上匹配或超越基于星型的联邦学习的测试准确率？
• RQ4 所提出的架构是否支持联邦学习的昼夜特性，即客户端数据分布随时间变化？
• RQ5 环形架构能否在不牺牲模型准确率的前提下，实现跨不同数据集和客户端分组的接近线性可扩展性？

主要发现

• 在 FedShakespeare 数据集上，TornadoAggregate 相较基线 FedAvg 的测试准确率最高提升了 26.7%，展现出显著的准确率增益。
• 在 MNIST 数据集上，TornadoAggregate 除 IFCA 外优于所有基线方法，在基于环形的联邦学习方法中实现了最高准确率。
• 该算法实现了接近线性的可扩展性，训练时间与客户端数量成比例增长，表明其具有出色的通信效率。
• 环形链接显著提升了批量大小利用率并降低了梯度方差，从而增强了收敛稳定性和准确率。
• 小环结构原则通过最优组大小（2、5、10）有效降低了组间与组内方差，尤其在非独立同分布（non-IID）数据设置下表现突出。
• TornadoAggregate 在两个数据集上均优于 HierFAVG 和 SemiCyclic，表明其方差减少技术比简单的分层或循环方法更具优势。