[论文解读] PIRATE: A Blockchain-based Secure Framework of Distributed Machine Learning in 5G Networks

Sicong Zhou, Huawei Huang+3 more|arXiv (Cornell University)|Dec 17, 2019

Blockchain Technology Applications and Security参考文献 14被引用 13

一句话总结

PIRATE 提出了一种基于分片的区块链框架，以在 5G 网络中实现拜占庭容错的分布式机器学习，确保在梯度聚合和参数更新过程中模型的安全性。通过利用区块链分片和去中心化共识，PIRATE 相较于集中式或非分片的替代方案（如 LearningChain），降低了存储开销和迭代时间，在大规模、去中心化的学习环境中实现了更优的可扩展性和效率。

ABSTRACT

In the fifth-generation (5G) networks and the beyond, communication latency and network bandwidth will be no more bottleneck to mobile users. Thus, almost every mobile device can participate in the distributed learning. That is, the availability issue of distributed learning can be eliminated. However, the model safety will become a challenge. This is because the distributed learning system is prone to suffering from byzantine attacks during the stages of updating model parameters and aggregating gradients amongst multiple learning participants. Therefore, to provide the byzantine-resilience for distributed learning in 5G era, this article proposes a secure computing framework based on the sharding-technique of blockchain, namely PIRATE. A case-study shows how the proposed PIRATE contributes to the distributed learning. Finally, we also envision some open issues and challenges based on the proposed byzantine-resilient learning framework.

研究动机与目标

• 解决去中心化分布式机器学习系统中，特别是在梯度聚合和模型参数更新期间的拜占庭攻击挑战。
• 克服集中式参数服务器在大规模 5G 使能学习环境中存在的单点故障和高运营成本等局限性。
• 通过区块链技术实现分布式随机梯度下降（D-SGD）的高可用性、去中心化和低存储复杂度。
• 设计一种可扩展且高效的框架，支持异构移动设备在 5G 网络中实时、大规模参与。
• 通过集成基于区块链的可靠性评估和共识机制，确保去中心化学习中的模型安全与完整性。

提出的方法

• 采用基于分片的区块链架构，将网络划分为多个委员会（分片），每个委员会负责部分梯度聚合和模型更新。
• 集成可靠性评估模块，以评估节点的可信度，并在参与学习委员会前过滤掉恶意或不可靠的参与者。
• 采用两层区块链结构：主链用于管理全局权限和非实时设备状态，分片链用于实时学习操作。
• 在每个分片内应用共识协议，以确保对聚合梯度和模型参数达成一致，通过状态机复制实现拜占庭容错。
• 限制每个节点的存储仅包含其自身本地梯度、邻居委员会的梯度以及领导者梯度，避免先前系统中出现的线性存储增长。
• 通过仅将梯度广播给每个委员会中的 c 名成员来优化通信，实现并行共识并减少迭代时间。

实验结果

研究问题

• RQ1 如何在不依赖集中式参数服务器的情况下，实现去中心化分布式机器学习中的拜占庭容错？
• RQ2 基于分片的区块链架构对大规模 D-SGD 系统中存储复杂度和通信效率有何影响？
• RQ3 PIRATE 与现有框架（如 LearningChain）相比，在梯度存储开销和迭代时间方面表现如何？
• RQ4 能否有效集成去中心化权限控制和实时可靠性评估到基于区块链的学习框架中，以维持系统安全性和可扩展性？
• RQ5 在去中心化、5G 使能的分布式学习环境中，防御模型投毒攻击的关键挑战是什么？

主要发现

• PIRATE 在迭代过程中保持恒定的梯度存储开销，而 LearningChain 因需存储所有历史梯度而表现出线性存储增长。
• PIRATE 通过仅将梯度广播给每个委员会中的 c 名成员，显著减少了迭代时间，实现了并行共识并最小化了通信成本。
• 在梯度大小为 28MB 的仿真中，PIRATE 在存储效率和迭代时间方面均优于 LearningChain，且随着节点数量的增加，优势更加明显。
• 该框架通过消除对集中式第三方的依赖，实现了高可扩展性和去中心化，同时通过区块链分片保持拜占庭容错能力。
• PIRATE 的设计支持异构设备在 5G 使能的分布式学习中实现高效、安全且低开销的参与，即使在对抗性条件下亦能保持稳定。
• 该系统通过结合分片、共识和动态可靠性评估，证明了其在大规模、实时分布式学习中的可行性。