[论文解读] OmniLytics: A Blockchain-based Secure Data Market for Decentralized Machine Learning

Jiacheng Liang, Songze Li+3 more|arXiv (Cornell University)|Jul 12, 2021

Blockchain Technology Applications and Security被引用 11

一句话总结

OmniLytics 提出了一种基于区块链的安全数据市场，通过以太坊智能合约实现去中心化的机器学习，数据所有者可贡献私有数据以训练模型而不泄露数据本身，同时确保模型与数据隐私、拜占庭容错性以及原子化支付。该系统在以太坊上仅用不到500毫秒的区块链处理时间，将MNIST数据集上CNN模型的准确率从62%提升至83%。

ABSTRACT

We propose OmniLytics, a blockchain-based secure data trading marketplace for machine learning applications. Utilizing OmniLytics, many distributed data owners can contribute their private data to collectively train an ML model requested by some model owners, and receive compensation for data contribution. OmniLytics enables such model training while simultaneously providing 1) model security against curious data owners; 2) data security against the curious model and data owners; 3) resilience to malicious data owners who provide faulty results to poison model training; and 4) resilience to malicious model owners who intend to evade payment. OmniLytics is implemented as a blockchain smart contract to guarantee the atomicity of payment. In OmniLytics, a model owner splits its model into the private and public parts and publishes the public part on the contract. Through the execution of the contract, the participating data owners securely aggregate their locally trained models to update the model owner's public model and receive reimbursement through the contract. We implement a working prototype of OmniLytics on Ethereum blockchain and perform extensive experiments to measure its gas cost, execution time, and model quality under various parameter combinations. For training a CNN on the MNIST dataset, the MO is able to boost its model accuracy from 62% to 83% within 500ms in blockchain processing time.This demonstrates the effectiveness of OmniLytics for practical deployment.

研究动机与目标

• 解决集中式数据市场在机器学习中面临的安全与隐私限制。
• 实现无需中介的去中心化数据市场，使数据所有者可在不暴露数据的情况下贡献私有数据。
• 通过将模型拆分为存储在区块链上的私有与公开组件，确保模型隐私。
• 防范恶意数据所有者提交错误更新的行为，以及恶意模型所有者逃避支付的行为。
• 实现一个安全、高效且实用的智能合约，支持机器学习中端到端的无信任数据交易。

提出的方法

• 模型所有者将其模型拆分为私有部分（保密）和公开部分（发布在区块链上），以保护模型隐私。
• 数据所有者在其私有数据上本地训练公开模型，并使用安全聚合技术上传掩码更新，以防止数据泄露。
• 智能合约执行 SecModelUpdate 函数，聚合各方贡献，并应用多-Krum 算法以过滤恶意更新。
• 通过智能合约实现原子化支付，确保仅在模型更新成功后，诚实的数据所有者才能获得补偿。
• 系统采用成对掩码与密码学技术，在分布式训练过程中保障数据与模型隐私。
• 在以太坊上实现原型系统，测量了不同配置下的Gas成本、执行时间与模型准确率。

实验结果

研究问题

• RQ1 能否设计一种基于区块链的数据市场，实现在无中心化权威机构参与下的安全、去中心化机器学习训练？
• RQ2 当模型权重部分暴露于区块链时，如何保护模型隐私？
• RQ3 在数据所有者向共享模型贡献本地训练模型时，应采用何种机制确保数据隐私？
• RQ4 该系统在抵御恶意数据所有者提交错误更新的拜占庭攻击方面效果如何？
• RQ5 系统能否确保对诚实数据贡献者的原子化与公平支付，同时防止恶意模型所有者的支付逃避行为？

主要发现

• OmniLytics 系统成功将 MNIST 数据集上 CNN 模型的准确率从 62% 提升至 83%，整个过程仅耗时不到 500 毫秒的区块链处理时间。
• 增加数据所有者（DO）数量可减少达到特定准确率所需的合约调用次数，但会增加单次调用的执行时间。
• 模型准确率随模型中公开层数量的增加而提升（最高达总参数量的 15.96%），证明了公开模型共享的有效性。
• 当模型所有者（MO）的预训练周期设置为 40 时，在所有测试配置中均获得最高的最终模型准确率。
• 系统对拜占庭数据所有者表现出高度的鲁棒性：当 μ=0.5 时，在 2% 攻击率下仍可达到 83.12% 的准确率，仅在 16% 攻击率下下降至 56.86%。
• 多-Krum 异常值检测机制能有效抑制恶意更新，更高的 μ 值可提供更强的防御，但代价是增加 Gas 成本与执行时间。