[论文解读] Proof of Federated Learning: A Novel Energy-recycling Consensus Algorithm

Xidi Qu, Shengling Wang+2 more|arXiv (Cornell University)|Dec 26, 2019

Privacy-Preserving Technologies in Data参考文献 21被引用 13

一句话总结

本文提出了一种新型的能量回收共识算法——联邦学习证明（PoFL），用联邦学习任务替代传统工作量证明（PoW）中的计算密集型谜题，将挖矿能量重新用于有用的模型训练。该框架通过基于反向博弈的数据交易机制和基于同态加密与安全两方计算的隐私保护模型验证协议，确保数据隐私，在模拟中表现出高效率和有效性。

ABSTRACT

Proof of work (PoW), the most popular consensus mechanism for Blockchain, requires ridiculously large amounts of energy but without any useful outcome beyond determining accounting rights among miners. To tackle the drawback of PoW, we propose a novel energy-recycling consensus algorithm, namely proof of federated learning (PoFL), where the energy originally wasted to solve difficult but meaningless puzzles in PoW is reinvested to federated learning. Federated learning and pooled-ming, a trend of PoW, have a natural fit in terms of organization structure. However, the separation between the data usufruct and ownership in Blockchain lead to data privacy leakage in model training and verification, deviating from the original intention of federal learning. To address the challenge, a reverse game-based data trading mechanism and a privacy-preserving model verification mechanism are proposed. The former can guard against training data leakage while the latter verifies the accuracy of a trained model with privacy preservation of the task requester's test data as well as the pool's submitted model. To the best of our knowledge, our paper is the first work to employ federal learning as the proof of work for Blockchain. Extensive simulations based on synthetic and real-world data demonstrate the effectiveness and efficiency of our proposed mechanisms.

研究动机与目标

• 为解决传统工作量证明（PoW）在区块链中造成的巨大能源浪费，通过将计算能量重新用于有用任务。
• 解决将联邦学习集成到开放区块链系统时存在的数据隐私泄露风险，其中数据所有权与使用相分离。
• 设计一种安全且高效的机制，用于在不暴露测试数据或模型权重的情况下验证模型准确性。
• 实现一种结合了池化挖矿可扩展性与联邦学习隐私优势的实用区块链共识机制。

提出的方法

• 提出一种通用的PoFL框架，其中池化挖矿中的矿工贡献本地模型更新以训练全局模型，取代PoW谜题。
• 设计一种新型PoFL区块结构，包含模型准确率、加密的测试标签以及用于安全验证的同态加密。
• 引入一种基于反向博弈的数据交易机制，通过将效用与诚实行为对齐，激励矿池在不泄露训练数据的情况下参与模型训练。
• 使用同态加密在模型验证过程中安全比较预测标签与真实标签，保护测试数据隐私。
• 使用安全两方计算在任务请求方与矿池之间比较模型准确率，而无需暴露模型或测试数据。
• 使用合成数据和真实世界数据对系统进行模拟，以评估在各种条件下的效率、准确率和隐私性。

实验结果

研究问题

• RQ1 联邦学习能否有效替代区块链共识中的密码学谜题，从而实现挖矿能量的回收？
• RQ2 当训练数据由矿工拥有但模型在公开区块链环境中训练时，如何保护数据隐私？
• RQ3 何种机制可确保矿池在不泄露训练数据的同时仍被激励诚实参与？
• RQ4 如何在不向不可信方暴露测试数据或模型权重的情况下验证模型准确率？
• RQ5 隐私保护验证在时间与可扩展性方面的性能开销如何？

主要发现

• 即使在9,364个节点的情况下，全节点对模型准确率进行排序和验证所需时间也低于60微秒，表明具有很高的可扩展性。
• 全节点使用加密测试数据验证模型准确率的平均时间为1.65至1.7秒，总验证时间不超过2秒。
• 基于反向博弈的数据交易机制成功激励矿池避免数据泄露，因为只有在数据保持私密时效用才最大化。
• 隐私保护的模型验证机制在准确率比较过程中有效保护了任务请求方的测试数据和矿池的模型不被暴露。
• 在合成数据和真实世界数据上的模拟结果表明，PoFL在保持强隐私保障和低验证延迟的同时，实现了高模型准确率。
• PoFL是首个将联邦学习作为工作量证明机制集成到区块链中的工作，为传统PoW提供了一种可持续且隐私保护的替代方案。