[论文解读] Privacy-Preserving Blockchain Based Federated Learning with Differential Data Sharing

Anudit Nagar|arXiv (Cornell University)|Dec 10, 2019

Privacy-Preserving Technologies in Data被引用 11

一句话总结

本文提出了一种隐私保护的联邦学习框架，将区块链技术与差分数据共享相结合，以在分布式设备间实现安全的去中心化模型训练。通过利用区块链实现无信任协调，以及利用差分隐私保护数据，该系统能够在保护用户数据机密性的同时，实现安全、可扩展且具备激励机制的全局模型学习。

ABSTRACT

For the modern world where data is becoming one of the most valuable assets, robust data privacy policies rooted in the fundamental infrastructure of networks and applications are becoming an even bigger necessity to secure sensitive user data. In due course with the ever-evolving nature of newer statistical techniques infringing user privacy, machine learning models with algorithms built with respect for user privacy can offer a dynamically adaptive solution to preserve user privacy against the exponentially increasing multidimensional relationships that datasets create. Using these privacy aware ML Models at the core of a Federated Learning Ecosystem can enable the entire network to learn from data in a decentralized manner. By harnessing the ever-increasing computational power of mobile devices, increasing network reliability and IoT devices revolutionizing the smart devices industry, and combining it with a secure and scalable, global learning session backed by a blockchain network with the ability to ensure on-device privacy, we allow any Internet enabled device to participate and contribute data to a global privacy preserving, data sharing network with blockchain technology even allowing the network to reward quality work. This network architecture can also be built on top of existing blockchain networks like Ethereum and Hyperledger, this lets even small startups build enterprise ready decentralized solutions allowing anyone to learn from data across different departments of a company, all the way to thousands of devices participating in a global synchronized learning network.

研究动机与目标

• 为解决去中心化机器学习中日益增长的数据隐私担忧，通过集成密码学隐私保护技术。
• 通过区块链基础设施，在联邦学习中实现安全、可扩展且无信任的分布式设备协作。
• 通过区块链上的代币激励机制，激励高质量的贡献。
• 支持在以太坊和超级账本等现有区块链上部署，实现企业级、互操作的解决方案。
• 在保护设备级数据机密性的同时，通过差分数据共享实现全局模型收敛。

提出的方法

• 该框架使用联邦学习在边缘设备上本地训练模型，而无需共享原始数据。
• 应用差分数据共享，在传输前对模型更新进行扰动，确保单个数据点保持私密。
• 使用区块链层记录模型更新并管理共识，确保贡献的透明性和不可篡改性。
• 通过在训练过程中向模型梯度添加校准噪声，支持设备端差分隐私。
• 基于区块链的代币激励机制根据贡献的质量和可靠性进行奖励，且经由区块链验证。
• 该架构设计为与现有区块链（如以太坊和超级账本）兼容，实现无缝集成与部署。

实验结果

研究问题

• RQ1 如何通过区块链增强联邦学习，以确保无信任、透明且可审计的模型聚合？
• RQ2 在去中心化模型训练过程中，应采用何种机制保护用户数据隐私，同时不损害模型效用？
• RQ3 如何有效将差分数据共享集成到联邦学习中，以提供正式的隐私保障？
• RQ4 基于区块链的激励机制在鼓励分布式设备高质量参与方面发挥何种作用？
• RQ5 所提出的系统如何在以太坊和超级账本等现有区块链平台上的实际部署，以实现现实世界中的可扩展性？

主要发现

• 将差分数据共享与联邦学习结合，通过差分隐私机制提供了正式的隐私保障。
• 区块链实现了无信任、不可篡改且可验证的模型更新记录，增强了系统的透明度和问责性。
• 该系统支持数千台设备在同步、隐私保护的学习网络中可扩展地参与。
• 基于代币的激励机制有效鼓励了边缘设备提供可靠且高质量的贡献。
• 该框架可部署在以太坊和超级账本等现有区块链上，支持企业级、去中心化的AI解决方案。
• 该架构在保护设备级数据机密性的同时，通过安全聚合实现全局模型收敛。