[论文解读] Proof of Learning (PoLe): Empowering Machine Learning with Consensus Building on Blockchains

Yixiao Lan, Yuan Liu+1 more|arXiv (Cornell University)|Jul 29, 2020

Blockchain Technology Applications and Security参考文献 23被引用 8

一句话总结

本文提出了一种名为 Proof of Learning (PoLe) 的新型区块链共识机制，该机制将工作量证明（PoW）中使用的计算资源重新用于训练神经网络，从而在提升区块链安全性的同时提高机器学习效率。通过引入安全映射层（SML）防止作弊行为，PoLe 在保持模型性能的同时，实现了去中心化、节能的共识机制，其核心是通过实际的机器学习训练任务完成共识过程。

ABSTRACT

The progress of deep learning (DL), especially the recent development of automatic design of networks, has brought unprecedented performance gains at heavy computational cost. On the other hand, blockchain systems routinely perform a huge amount of computation that does not achieve practical purposes in order to build Proof-of-Work (PoW) consensus from decentralized participants. In this paper, we propose a new consensus mechanism, Proof of Learning (PoLe), which directs the computation spent for consensus toward optimization of neural networks (NN). In our mechanism, the training/testing data are released to the entire blockchain network (BCN) and the consensus nodes train NN models on the data, which serves as the proof of learning. When the consensus on the BCN considers a NN model to be valid, a new block is appended to the blockchain. We experimentally compare the PoLe protocol with Proof of Work (PoW) and show that PoLe can achieve a more stable block generation rate, which leads to more efficient transaction processing. We also introduce a novel cheating prevention mechanism, Secure Mapping Layer (SML), which can be straightforwardly implemented as a linear NN layer. Empirical evaluation shows that SML can detect cheating nodes at small cost to the predictive performance.

研究动机与目标

• 解决工作量证明（PoW）区块链共识机制中存在的巨大计算资源浪费与高能耗问题。
• 将区块链挖矿工作重新用于实际的机器学习模型训练，使共识机制与现实世界的人工智能进展保持一致。
• 设计一种安全机制，防止恶意节点重用或篡改模型解决方案。
• 确保所提出的共识机制在保持训练模型高预测性能的前提下运行。
• 证明 PoLe 相较于 PoW 能够实现更稳定的区块生成与更高效的交易处理。

提出的方法

• PoLe 用非凸神经网络优化任务替代 PoW 中的哈希谜题作为非对称谜题，求解需训练模型以达到目标准确率。
• 共识机制通过功能加密方案实现，该方案依托安全映射层（SML），即一个线性神经网络层，将每个区块与前一区块的哈希值绑定。
• SML 将输入特征投影到由前一区块哈希决定的方向上，确保解决方案无法在不同链或区块间重用。
• 数据节点发布一个机器学习任务并附带奖励；共识节点训练模型以达到最低训练准确率，随后公开测试集用于泛化性能评估。
• 选择在测试集上表现最佳的模型，奖励随之分配，确保对有效模型性能达成共识。
• 若无可用的有用机器学习任务，系统将无缝降级为 PoW，确保在空闲期间仍能维持区块链功能。

实验结果

研究问题

• RQ1 能否设计一种区块链共识机制，使达成共识所需的计算工作量直接贡献于训练有用的机器学习模型？
• RQ2 区块链如何防止恶意参与者重用或篡改预训练模型以获取不公平奖励？
• RQ3 安全映射层（SML）的引入在多大程度上影响了训练后神经网络的预测性能？
• RQ4 PoLe 机制是否相比传统 PoW 实现了更稳定的区块生成速率与更高的交易处理效率？
• RQ5 该系统在将挖矿工作重新用于实际人工智能训练的同时，能否维持数据完整性和共识安全性？

主要发现

• PoLe 的区块生成速率较 PoW 更为稳定，从而支持更快速响应且高效的去中心化数据存储与交易处理。
• 安全映射层（SML）仅使训练时间增加 21% 至 29%，对模型准确率影响极小——例如，VGG-16 在启用 SML 时达到 99.70% 的准确率，而未启用时为 99.93%。
• 在已训练模型中移除 SML 层后，测试准确率从 99.50% 降至 13.48%，表明系统对作弊节点具有强大的检测能力。
• 在 CIFAR-10 数据集上，启用 SML 的 VGG-16 模型达到 91.25% 的测试准确率，仅略低于原始模型的 91.70%。
• 在 IRIS 数据集上，MLP 模型在启用与未启用 SML 的版本中均达到 100% 的准确率，证实 SML 对简单任务无性能劣化。
• 实证结果表明，PoLe 在保持高预测性能的同时，通过基于机器学习的计算实现了安全且去中心化的共识。