[论文解读] VeriML: Enabling Integrity Assurances and Fair Payments for Machine Learning as a Service

Lingchen Zhao, Qian Wang+6 more|arXiv (Cornell University)|Sep 16, 2019

Privacy-Preserving Technologies in Data参考文献 43被引用 14

一句话总结

VeriML 是一种新颖的框架，通过在采样训练迭代上使用简洁的非交互式知识论证（SNARKs），实现可验证且公平的机器学习即服务（MLaaS），以确保正确性、可信的会计记录和公平的支付。它通过算术电路优化和基于安全区块链的交易锁定，在六种机器学习算法上实现了实际性能，验证开销低且精度损失最小。

ABSTRACT

Machine Learning as a Service (MLaaS) allows clients with limited resources to outsource their expensive ML tasks to powerful servers. Despite the huge benefits, current MLaaS solutions still lack strong assurances on: 1) service correctness (i.e., whether the MLaaS works as expected); 2) trustworthy accounting (i.e., whether the bill for the MLaaS resource consumption is correctly accounted); 3) fair payment (i.e., whether a client gets the entire MLaaS result before making the payment). Without these assurances, unfaithful service providers can return improperly-executed ML task results or partially trained ML models while asking for over-claimed rewards. Moreover, it is hard to argue for wide adoption of MLaaS to both the client and the service provider, especially in the open market without a trusted third party. In this paper, we present VeriML, a novel and efficient framework to bring integrity assurances and fair payments to MLaaS. With VeriML, clients can be assured that ML tasks are correctly executed on an untrusted server and the resource consumption claimed by the service provider equals to the actual workload. We strategically use succinct non-interactive arguments of knowledge (SNARK) on randomly-selected iterations during the ML training phase for efficiency with tunable probabilistic assurance. We also develop multiple ML-specific optimizations to the arithmetic circuit required by SNARK. Our system implements six common algorithms: linear regression, logistic regression, neural network, support vector machine, Kmeans and decision tree. The experimental results have validated the practical performance of VeriML.

研究动机与目标

• 解决 MLaaS 中的关键信任缺口，包括错误结果、虚增计费和在结果交付前不公平支付的问题。
• 在无需可信第三方的情况下，为外包的机器学习训练提供强有力的完整性保障。
• 通过区块链保护的哈希锁定交易，防止客户在支付前接收结果，实现公平交换。
• 优化基于 SNARK 的验证，以降低大规模机器学习工作负载的计算和通信成本。
• 实现在真实世界数据集上可实际部署的可验证 MLaaS，且精度损失最小。

提出的方法

• 使用 SNARKs 为随机选择的训练迭代生成紧凑证明，实现可调节置信度的正确性概率验证。
• 将机器学习算法转换为二次算术电路（QACs），以支持 SNARK 验证，并应用算法特定的优化以降低电路复杂度。
• 实现一种‘提交并证明’协议，将采样迭代与完整训练过程绑定，防止恶意服务器选择性执行。
• 利用区块链实现去中心化、无信任的公平交换，通过哈希锁定交易确保仅在证明验证后才支付。
• 应用定点算术和近似方法（例如，使用 Remez 方法近似 Sigmoid 函数，使用平方函数近似 ReLU），在保持模型精度的同时降低电路成本。
• 通过在多个样本间复用评估密钥，最小化通信开销，并在训练期间并行传输密钥。

实验结果

研究问题

• RQ1 如何在不泄露整个计算过程的前提下，高效验证外包机器学习训练的正确性？
• RQ2 如何确保服务提供商声称的资源使用量与实际工作量一致？
• RQ3 如何实现公平交换，以确保客户在付款前不会提前获得完整结果？
• RQ4 为使基于 SNARK 的验证在大规模机器学习工作负载中实用，需要哪些优化？
• RQ5 在 SNARK 兼容电路中，算术近似会引入多大的精度损失？

主要发现

• VeriML 实现了实际的验证开销，每份证明仅需 288 字节的预测验证开销，15 份证明在 10,000 次迭代内总开销低于 317KB。
• 该系统支持六种常见机器学习算法——线性回归、逻辑回归、神经网络、SVM、K-均值聚类和决策树，展示了广泛适用性。
• 使用 32 位定点算术可导致可忽略的精度损失，平均误差随位长增加而迅速下降。
• Remez 方法在近似 Sigmoid 函数方面，相比泰勒级数和分段近似，在精度和效率上均表现更优。
• 在算术电路中用平方函数替代 ReLU 可显著降低验证成本，同时在标准基准测试上保持高达 99% 的模型精度。
• 通过复用和并行传输，评估密钥的通信开销被最小化，以太坊上的区块链密钥交换每笔交易成本低于 0.05 美元。