[论文解读] Robust Blockchained Federated Learning with Model Validation and Proof-of-Stake Inspired Consensus

Hang Chen, Syed Ali Asif+3 more|arXiv (Cornell University)|Jan 9, 2021

Privacy-Preserving Technologies in Data参考文献 20被引用 37

一句话总结

VBFL 引入去中心化的模型验证和基于权益证明的共识，以保护链上联邦学习的安全性，提升对恶意设备的鲁棒性。在 MNIST 实验中，攻击者占比 15% 时，VBFL 达到 87% 的准确率，比 Vanilla FL 高出 7.4 倍。

ABSTRACT

Federated learning (FL) is a promising distributed learning solution that only exchanges model parameters without revealing raw data. However, the centralized architecture of FL is vulnerable to the single point of failure. In addition, FL does not examine the legitimacy of local models, so even a small fraction of malicious devices can disrupt global training. To resolve these robustness issues of FL, in this paper, we propose a blockchain-based decentralized FL framework, termed VBFL, by exploiting two mechanisms in a blockchained architecture. First, we introduced a novel decentralized validation mechanism such that the legitimacy of local model updates is examined by individual validators. Second, we designed a dedicated proof-of-stake consensus mechanism where stake is more frequently rewarded to honest devices, which protects the legitimate local model updates by increasing their chances of dictating the blocks appended to the blockchain. Together, these solutions promote more federation within legitimate devices, enabling robust FL. Our emulation results of the MNIST classification corroborate that with 15% of malicious devices, VBFL achieves 87% accuracy, which is 7.4x higher than Vanilla FL.

研究动机与目标

• 通过解决联邦学习中的单点故障和模型合法性问题来推动鲁棒的联邦学习。
• 提出一个将模型验证与 PoS 启发式共识相结合的去中心化 VBFL 框架。
• 通过包含恶意参与者的 MNIST 实验展示鲁棒性和效率提升。

提出的方法

• 提出在每轮中有三种角色的 VBFL：工作节点、验证者和矿工。
• 实现去中心化验证，验证者通过在自身数据上训练来评估本地更新并对合法性投票。
• 采用基于权益的共识：贡献最大的矿工（按权益）生成合法区块。
• 使用两层奖励机制，基于角色与表现累积权益，用于指导区块选择与参与。
• 基于矿工中累积权益最高者选择合法区块，同时考虑对恶意行为者的黑名单处理。

实验结果

研究问题

• RQ1 在没有中央聚合器的情况下，去中心化验证能否有效过滤被扭曲的本地更新？
• RQ2 相较于 PoW，基于权益证明的共识是否在保持对投毒攻击鲁棒性的同时降低通信量和延迟？
• RQ3 维持 VBFL、遏制恶意参与的聚合规则和奖励结构是什么？
• RQ4 在现实场景下的恶意存在下，VBFL 在联邦学习任务（例如 MNIST）中的表现如何？

主要发现

• 在同等条件下，15% 恶意设备下，VBFL 在 MNIST 上实现 87% 的准确率，比 Vanilla FL 高出 7.4 倍。
• 提出的去中心化验证通过在验证者之间投票并利用每轮的角色分配来降低恶意更新的影响。
• VBFL-PoS 在仿真中降低了通信开销，并维持与基于 PoW 的系统相当的分叉行为。
• 角色切换降低单一矿工长期支配的情况，帮助防止某些区块链增强的 FL 方法中出现的非民主化副作用。
• 开源的 VBFL 原型用 Python 实现，且可在提供的仓库 URL 进行复现。