[论文解读] zkDL: Efficient Zero-Knowledge Proofs of Deep Learning Training

Hao-Chen Sun, Bai, Tonghe+2 more|arXiv (Cornell University)|Jul 30, 2023

Parallel Computing and Optimization Techniques被引用 4

一句话总结

zkDL 首次为可验证深度学习训练提供了高效的零知识证明系统，引入了 zkReLU 以本地方便处理 ReLU 激活函数及其反向传播，无需多项式近似。它实现了每批次子秒级的证明生成（每批次低于 1 秒），适用于包含 1000 万个参数的 8 层网络与批量大小为 64 的情况，从而实现了对现实世界深度神经网络训练的隐私保护且可扩展的验证。

ABSTRACT

The recent advancements in deep learning have brought about significant changes in various aspects of people's lives. Meanwhile, these rapid developments have raised concerns about the legitimacy of the training process of deep neural networks. To protect the intellectual properties of AI developers, directly examining the training process by accessing the model parameters and training data is often prohibited for verifiers. In response to this challenge, we present zero-knowledge deep learning (zkDL), an efficient zero-knowledge proof for deep learning training. To address the long-standing challenge of verifiable computations of non-linearities in deep learning training, we introduce zkReLU, a specialized proof for the ReLU activation and its backpropagation. zkReLU turns the disadvantage of non-arithmetic relations into an advantage, leading to the creation of FAC4DNN, our specialized arithmetic circuit design for modelling neural networks. This design aggregates the proofs over different layers and training steps, without being constrained by their sequential order in the training process. With our new CUDA implementation that achieves full compatibility with the tensor structures and the aggregated proof design, zkDL enables the generation of complete and sound proofs in less than a second per batch update for an 8-layer neural network with 10M parameters and a batch size of 64, while provably ensuring the privacy of data and model parameters. To our best knowledge, we are not aware of any existing work on zero-knowledge proof of deep learning training that is scalable to million-size networks.

研究动机与目标

• 为工业和监管场景中深度学习训练缺乏可扩展且保护隐私的验证机制提供解决方案。
• 克服在零知识证明系统中验证非算术操作（尤其是 ReLU 激活函数）的根本性挑战。
• 设计一种算术电路模型，高效捕捉深度学习训练中多步骤、多层的分层、顺序与重复性结构。
• 实现大规模深度神经网络的端到端可验证训练，确保数据与模型参数的正确性与保密性。
• 开发一种 CUDA 优化的实现，实现真实世界部署中零知识可验证训练的实际性能。

提出的方法

• 提出 zkReLU，一种针对 ReLU 及其反向传播的专用零知识证明，利用其内在非线性作为计算优势而非约束。
• 提出 FAC4DNN，一种算术电路设计，建模了完整的深度学习训练过程——包括前向与反向传播、逐层操作与批量处理——同时保留张量与层结构。
• 通过利用 zkReLU 中的结构对称性与计算模式，在层与训练步骤之间实现证明聚合，支持独立于训练顺序的非顺序证明组合。
• 设计一种与深度学习框架张量布局对齐的 CUDA 原生实现，实现在 GPU 硬件上的高性能证明生成与验证。
• 采用与现代 ZKP 系统兼容的零知识证明后端，确保对训练数据与模型参数的正确性与零知识保证。
• 将证明系统集成到完整的训练流水线中，使模型开发者在每次批量更新后均可生成证明，而无需修改训练逻辑。

实验结果

研究问题

• RQ1 非算术操作（如 ReLU）是否可以本地方案地在零知识证明中验证，而无需依赖多项式近似？
• RQ2 如何使大规模模型（含数百万参数）的深度学习训练证明生成足够高效？
• RQ3 是否可以以一种绕过顺序依赖关系并减少计算开销的方式，聚合不同层与训练步骤的证明？
• RQ4 是否可行构建一种 GPU 优化的零知识证明系统，用于深度学习训练，实现亚秒级的证明生成时间？
• RQ5 此类系统是否能够同时确保训练的正确性与对训练数据及模型参数的强隐私保护？

主要发现

• zkDL 在每批次更新中为 8 层、1000 万个参数、批量大小为 64 的网络生成完整且正确的零知识证明，耗时低于 1 秒。
• 该系统支持对现实规模深度神经网络的可验证训练，且此前无工作实现对百万参数级别模型的类似可扩展性。
• 通过 FAC4DNN 实现的证明聚合，通过将证明组合与训练步骤及层的顺序解耦，显著降低了计算与通信开销。
• CUDA 优化的实现与标准深度学习张量结构完全兼容，实现了高效集成到现有训练流水线中。
• 由于验证协议的顺序特性，验证时间与证明时间相当，凸显了未来需开发并行化验证算法的必要性。
• zkDL 是首个为深度学习训练提供端到端零知识可验证性的框架，具备可证明的隐私保护与大规模性能。