[论文解读] Scaling up Trustless DNN Inference with Zero-Knowledge Proofs

Daniel Kang, Tatsunori Hashimoto+2 more|arXiv (Cornell University)|Oct 17, 2022

COVID-19 diagnosis using AI被引用 11

一句话总结

该论文提出了首个基于ZK-SNARKs的零知识证明系统，用于在通用硬件上对完整分辨率的ImageNet规模深度神经网络（DNN）推理进行无信任、非交互式验证。该系统实现了79%的top-5准确率，证明时间相比之前的工作快达1,000倍，通过新颖的算术化优化技术（如非线性激活的查找论证和子电路复用）实现。

ABSTRACT

As ML models have increased in capabilities and accuracy, so has the complexity of their deployments. Increasingly, ML model consumers are turning to service providers to serve the ML models in the ML-as-a-service (MLaaS) paradigm. As MLaaS proliferates, a critical requirement emerges: how can model consumers verify that the correct predictions were served, in the face of malicious, lazy, or buggy service providers? In this work, we present the first practical ImageNet-scale method to verify ML model inference non-interactively, i.e., after the inference has been done. To do so, we leverage recent developments in ZK-SNARKs (zero-knowledge succinct non-interactive argument of knowledge), a form of zero-knowledge proofs. ZK-SNARKs allows us to verify ML model execution non-interactively and with only standard cryptographic hardness assumptions. In particular, we provide the first ZK-SNARK proof of valid inference for a full resolution ImageNet model, achieving 79\% top-5 accuracy. We further use these ZK-SNARKs to design protocols to verify ML model execution in a variety of scenarios, including for verifying MLaaS predictions, verifying MLaaS model accuracy, and using ML models for trustless retrieval. Together, our results show that ZK-SNARKs have the promise to make verified ML model inference practical.

研究动机与目标

• 为解决在不受信任的机器学习即服务（MLaaS）环境中验证机器学习模型正确执行这一关键挑战。
• 实现在大规模场景下对DNN推理进行非交互式、零知识验证，特别针对ImageNet级别的模型。
• 设计实用协议，用于验证MLaaS预测、模型准确率以及在无信任环境下的文档检索，基于ZK-SNARKs。
• 优化ZK-SNARKs在DNN上的构建，使在通用硬件上实现验证成为可能。

提出的方法

• 利用ZK-SNARKs生成简洁的、零知识的正确DNN推理证明，而无需暴露输入或权重。
• 采用新颖的算术化技术：对非线性激活使用查找论证，并在各层之间复用子电路，以减小电路规模。
• 通过密码学哈希承诺模型权重，同时在证明正确推理时保护模型隐私。
• 设计结合ZK-SNARKs与经济激励机制的协议，实现在MLaaS、审计和检索场景中的无信任验证。
• 使用Clopper-Pearson精确置信区间和Hoeffding不等式，确定用于统计验证模型准确率和预测正确性的样本量。
• 在公共云硬件（AWS r8i.8xlarge）上估算不同协议参数下的证明和验证成本。

实验结果

研究问题

• RQ1 ZK-SNARKs能否扩展至在实际证明和验证时间内验证完整分辨率的ImageNet模型？
• RQ2 如何高效地将ZK-SNARKs应用于DNN推理，同时保护模型权重隐私？
• RQ3 使用ZK-SNARKs验证MLaaS预测和模型准确率的实际成本与性能权衡如何？
• RQ4 基于ZK-SNARKs的协议能否在对抗性环境中实现无信任、可验证的文档检索？
• RQ5 所提出的优化技术（查找论证、子电路复用）相比之前工作，如何减少电路规模和证明时间？

主要发现

• 该论文首次提出针对完整分辨率ImageNet模型（MobileNet v2）的ZK-SNARK电路，可在通用硬件上实现10秒内完成证明和验证。
• 系统在ImageNet上实现了79%的top-5准确率，证明了在真实世界DNN推理验证中的实际可行性。
• 证明时间相比之前工作快达1,000倍，且现有方法的下限显著更高。
• 证明大小相比基于MPC的方法小几个数量级，后者可能需要数十至数百GB的存储空间。
• 成本估算表明，若将效率扩展至MobileNet v2的水平，使用ZK-SNARKs验证Google Cloud Vision API预测仅增加4%的成本。
• 在δ=5%下，将模型准确率验证在ε=1%的目标范围内，约需15,000个样本和约2,500美元的云成本，这对于医疗或金融等高风险领域是可行的。