[论文解读] Scalable and Communication-efficient Decentralized Federated Edge Learning with Multi-blockchain Framework

Jiawen Kang, Zehui Xiong+7 more|arXiv (Cornell University)|Aug 10, 2020

Blockchain Technology Applications and Security参考文献 18被引用 11

一句话总结

本文提出了一种基于区块链的可扩展、通信高效的联邦边缘学习（FEL）框架，采用分层多区块链架构和验证证明（PoV）共识机制，以确保安全性和模型完整性。通过集成梯度压缩技术，通信开销最高可降低300倍，同时保持极低的精度损失，实现在大规模边缘环境中的安全、去中心化和高效模型训练。

ABSTRACT

The emerging Federated Edge Learning (FEL) technique has drawn considerable attention, which not only ensures good machine learning performance but also solves "data island" problems caused by data privacy concerns. However, large-scale FEL still faces following crucial challenges: (i) there lacks a secure and communication-efficient model training scheme for FEL; (2) there is no scalable and flexible FEL framework for updating local models and global model sharing (trading) management. To bridge the gaps, we first propose a blockchain-empowered secure FEL system with a hierarchical blockchain framework consisting of a main chain and subchains. This framework can achieve scalable and flexible decentralized FEL by individually manage local model updates or model sharing records for performance isolation. A Proof-of-Verifying consensus scheme is then designed to remove low-quality model updates and manage qualified model updates in a decentralized and secure manner, thereby achieving secure FEL. To improve communication efficiency of the blockchain-empowered FEL, a gradient compression scheme is designed to generate sparse but important gradients to reduce communication overhead without compromising accuracy, and also further strengthen privacy preservation of training data. The security analysis and numerical results indicate that the proposed schemes can achieve secure, scalable, and communication-efficient decentralized FEL.

研究动机与目标

• 解决大规模边缘人工智能部署中缺乏安全、去中心化且通信高效的联邦边缘学习（FEL）框架的问题。
• 克服传统FEL中集中式聚合服务器存在的单点故障和安全漏洞问题。
• 缓解基于区块链的FEL系统中因公开共享梯度而导致的隐私泄露风险。
• 在不牺牲模型精度的前提下降低FEL中的通信开销。
• 通过分层区块链结构实现本地模型更新和全局模型交易的灵活、可扩展管理。

提出的方法

• 设计一种分层区块链框架，包含主链和子链，以隔离并管理模型更新与交易记录，提升性能与可扩展性。
• 提出一种验证证明（PoV）共识方案，由预定义的矿工协作验证模型更新质量，过滤掉恶意或低质量的更新。
• 开发一种梯度压缩方案，基于阈值ρ仅选择最重要的梯度，从而在保持模型精度的同时减少通信负载。
• 将PoV与梯度压缩集成到去中心化的FEL流水线中，替代集中式聚合，提升安全性。
• 采用每轮固定0.5秒的共识时间（受EOSIO的DPoS启发），以确保模型聚合的可预测延迟。
• 在真实数据集（MNIST、电力需求）上应用CNN、LSTM、GRU和SVM模型，评估框架性能。

实验结果

研究问题

• RQ1 如何设计一种去中心化且安全的FEL框架，以消除对可信中心化服务器的依赖？
• RQ2 在去中心化的FEL系统中，如何有效过滤恶意或低质量的模型更新？
• RQ3 梯度压缩在FEL中能在多大程度上减少通信开销而不降低模型精度？
• RQ4 多区块链架构能否支持FEL中模型更新与交易的可扩展且灵活的管理？
• RQ5 与传统FEL相比，所提出的框架在通信效率和安全性方面表现如何？

主要发现

• 通过梯度压缩，当ρ = 0.3时，所提框架实现了梯度大小300倍的缩减，同时保持高精度。
• 当ρ = 0.3时，MNIST数据集上的模型准确率达到97.25%；将ρ增至100仅使准确率提升1.83%（至99.08%），表明ρ > 0.3后收益递减。
• 采用梯度压缩的BFEL框架相比无压缩的FEL，通信开销减少超过50%，显著提升了通信效率。
• PoV共识方案通过在写入区块链前验证模型更新质量，有效防御了投毒攻击。
• 分层区块链框架实现了对模型更新与交易记录的灵活、可扩展且性能隔离的管理。
• 数值结果与安全分析表明，该框架在真实应用中可确保安全、可扩展且通信高效的去中心化FEL。