[论文解读] Towards On-Device Federated Learning: A Direct Acyclic Graph-based Blockchain Approach

Mingrui Cao, Long Zhang+1 more|arXiv (Cornell University)|Apr 27, 2021

Privacy-Preserving Technologies in Data参考文献 33被引用 8

一句话总结

本文提出DAG-FL，一种基于区块链的联邦学习框架，采用有向无环图（DAG）共识机制，实现高效、异步的设备端联邦学习，无需资源密集型的挖矿过程。通过在各节点间去中心化地执行模型验证与共识，DAG-FL相较于基于PoW的系统和同步联邦学习系统，显著降低了延迟，提升了安全性，并增强了训练效率与准确性。

ABSTRACT

Due to the distributed characteristics of Federated Learning (FL), the vulnerability of global model and coordination of devices are the main obstacle. As a promising solution of decentralization, scalability and security, leveraging blockchain in FL has attracted much attention in recent years. However, the traditional consensus mechanisms designed for blockchain like Proof of Work (PoW) would cause extreme resource consumption, which reduces the efficiency of FL greatly, especially when the participating devices are wireless and resource-limited. In order to address device asynchrony and anomaly detection in FL while avoiding the extra resource consumption caused by blockchain, this paper introduces a framework for empowering FL using Direct Acyclic Graph (DAG)-based blockchain systematically (DAG-FL). Accordingly, DAG-FL is first introduced from a three-layer architecture in details, and then two algorithms DAG-FL Controlling and DAG-FL Updating are designed running on different nodes to elaborate the operation of DAG-FL consensus mechanism. After that, a Poisson process model is formulated to discuss that how to set deployment parameters to maintain DAG-FL stably in different federated learning tasks. The extensive simulations and experiments show that DAG-FL can achieve better performance in terms of training efficiency and model accuracy compared with the typical existing on-device federated learning systems as the benchmarks.

研究动机与目标

• 解决由于资源各异的异构移动设备导致的设备端联邦学习中的设备异步问题。
• 克服传统区块链共识机制（如工作量证明，PoW）在资源受限的移动环境中资源消耗过高的问题。
• 在不依赖可能引入偏差或瓶颈的中心化或挖矿节点的前提下，实现联邦学习中的去中心化异常检测。
• 设计一个可扩展、安全且高效的框架，在设备异步和异常行为条件下保持模型收敛性与准确性。
• 提出一个三层架构，整合联邦学习、DAG与应用层，以支持去中心化、高效且安全的模型训练与验证。

提出的方法

• 提出三层架构：联邦学习层用于本地模型训练，DAG层用于共识与事务管理，应用层用于协调与监控。
• 设计两种核心算法：DAG-FL Controlling用于管理DAG尖端选择与共识启动，DAG-FL Updating用于验证与传播模型更新。
• 采用泊松过程模型，分析确定系统稳定与性能最优的部署参数（如尖端数量、过期阈值）。
• 在所有参与节点间去中心化共识与模型验证，消除对专用矿工的需求，降低资源开销。
• 利用DAG的投票共识机制，实现无需挖矿的异步、可扩展且安全的模型聚合。
• 在每个节点实施本地模型验证，以检测并缓解异常更新，确保全局模型完整性，无需依赖中心化信任。

实验结果

研究问题

• RQ1 如何设计基于DAG的区块链框架，以在资源开销最小的前提下支持异步、设备端联邦学习？
• RQ2 在不依赖挖矿或中心化协调者的情况下，应采用何种机制确保去中心化联邦学习系统中的安全高效共识？
• RQ3 在保护隐私的去中心化联邦学习环境中，如何检测并缓解异常节点行为？
• RQ4 在多样化的联邦学习工作负载下，哪些部署参数（如尖端数量、过期阈值）最有利于维持系统稳定性和收敛性？
• RQ5 与现有基于PoW的系统和同步联邦学习系统相比，所提出的DAG-FL框架在训练效率与模型准确性方面有多大的性能优势？

主要发现

• DAG-FL在设备异步环境下，相较于基准的同步与基于PoW的联邦学习系统，实现了更高的系统效率与更优的模型准确性。
• 该框架对异常节点表现出强韧性，通过去中心化的本地验证机制，有效检测并缓解其影响。
• 泊松过程模型通过指导最优部署参数（如DAG尖端数量与过期处理方式）的设定，确保了系统的稳定运行。
• 在真实测试平台上的实验表明，DAG-FL保持了高度的稳定性和效率，验证了其在真实设备端联邦学习场景中的实际可行性。
• 通过消除矿工与挖矿开销，DAG-FL显著降低了资源消耗，同时保持或提升了收敛速度与模型质量。
• 该系统对设备异步不敏感，在高节点异构性与动态参与条件下仍能维持稳健性能。