[论文解读] Wireless Ad Hoc Federated Learning: A Fully Distributed Cooperative Machine Learning

Hideya Ochiai, Yuwei Sun+3 more|arXiv (Cornell University)|May 24, 2022

Privacy-Preserving Technologies in Data被引用 20

一句话总结

WAFL 实现了在邻近节点之间的完全分布式模型交换与聚合，无需中心服务器，通过基于遭遇的协作从高度非 IID 数据中获得通用模型。

ABSTRACT

Privacy-sensitive data is stored in autonomous vehicles, smart devices, or sensor nodes that can move around with making opportunistic contact with each other. Federation among such nodes was mainly discussed in the context of federated learning with a centralized mechanism in many works. However, because of multi-vendor issues, those nodes do not want to rely on a specific server operated by a third party for this purpose. In this paper, we propose a wireless ad hoc federated learning (WAFL) -- a fully distributed cooperative machine learning organized by the nodes physically nearby. WAFL can develop generalized models from Non-IID datasets stored in distributed nodes locally by exchanging and aggregating them with each other over opportunistic node-to-node contacts. In our benchmark-based evaluation with various opportunistic networks, WAFL has achieved higher accuracy of 94.8-96.3% than the self-training case of 84.7%. All our evaluation results show that WAFL can train and converge the model parameters from highly-partitioned Non-IID datasets over opportunistic networks without any centralized mechanisms.

研究动机与目标

• 在没有集中服务器的情况下，推动多厂商移动节点的隐私保护学习。
• 提出 WAFL 作为一个完全分布式的协作学习范式。
• 表明 WAFL 能通过机遇性遭遇将高度非 IID 数据收敛到通用模型。
• 提供模型交换与聚合接口的理论与实践框架。
• 在 MNIST 数据下评估 WAFL 在静态和动态移动模式中的表现。

提出的方法

• 节点在私有数据上本地训练，在遭遇时交换训练后的模型参数。
• 节点处的模型聚合使用 theta_me' = theta_me + lambda * sum(theta_k - theta_me) / (|nbr(n)| + 1).
• 聚合后，节点使用自己的数据在本地执行带有 SGD 风格步骤的微小批量更新(Eq. 4)。
• 在 WAFL 交换前进行本地预训练以提升初始准确性(Eq. 6)。
• 对参数更新动态的讨论表明向最小化虚拟合并数据集上的损失收敛(minimize the loss on the virtually merged dataset, Eq. 10) 。
• 自组网交换接口包括 Wi‑Fi ad hoc 模式或带 UDP 多播的蓝牙，用于模型参数的分发。

实验结果

研究问题

• RQ1 WAFL 能否在没有中心服务器的完全分布式自组网中实现高度非 IID 数据的通用模型？
• RQ2 不同移动模式和网络拓扑如何影响 WAFL 的收敛性和准确性？
• RQ3 为平衡本地学习与跨节点学习，选择合适的聚合系数和训练计划？
• RQ4 在此设置下，WAFL 与自训练、带服务器的传统联邦学习和 IPLS 的比较如何？

主要发现

• 在各种静态/动态接触模式下，WAFL 的准确率更高（约 96%），优于自训练和 IPLS 基线。
• WAFL 能在没有中心化联盟的情况下使模型参数朝向虚拟合并数据集的损失最小值收敛。
• 在 (0,1] 的 lambda 下进行聚合，能够有效推动朝邻居模型的漂移，同时保留本地更新。
• 在多种网络拓扑（static_line、static_tree、static_ringstar、static_dense）和移动模式（RWP、CSE）下，性能具有鲁棒性。
• 在 90% Non-IID 的 MNIST 数据下，WAFL 在多种配置中均具有竞争力的准确率，在若干场景中与联邦学习接近甚至相当。