[论文解读] SafetyNets: Verifiable Execution of Deep Neural Networks on an Untrusted Cloud

Zahra Ghodsi, Tianyu Gu+1 more|arXiv (Cornell University)|Jun 30, 2017

Adversarial Robustness in Machine Learning参考文献 16被引用 80

一句话总结

SafetyNets 引入一种交互式证明协议，可对将 DNN 推理外包给不可信的云进行可验证化，在保持对 MNIST 和 TIMIT 的竞争性准确率的同时，实现较低的客户端/服务器开销，并提供强健的完整性保证。

ABSTRACT

Inference using deep neural networks is often outsourced to the cloud since it is a computationally demanding task. However, this raises a fundamental issue of trust. How can a client be sure that the cloud has performed inference correctly? A lazy cloud provider might use a simpler but less accurate model to reduce its own computational load, or worse, maliciously modify the inference results sent to the client. We propose SafetyNets, a framework that enables an untrusted server (the cloud) to provide a client with a short mathematical proof of the correctness of inference tasks that they perform on behalf of the client. Specifically, SafetyNets develops and implements a specialized interactive proof (IP) protocol for verifiable execution of a class of deep neural networks, i.e., those that can be represented as arithmetic circuits. Our empirical results on three- and four-layer deep neural networks demonstrate the run-time costs of SafetyNets for both the client and server are low. SafetyNets detects any incorrect computations of the neural network by the untrusted server with high probability, while achieving state-of-the-art accuracy on the MNIST digit recognition (99.4%) and TIMIT speech recognition tasks (75.22%).

研究动机与目标

• 为基于云的 DNN 推理提供可信结果的动机，并解决来自不可信提供商的完整性风险。
• 开发一个专门的交互式证明协议，针对可表示为算术电路的神经网络进行定制。
• 通过较低的客户端验证开销和适度的服务器证明生成成本，确保实际性能。
• 在标准数据集上演示该方法，以展示保持的准确性和可验证性。

提出的方法

• 使用专门的交互式证明（IP）协议来对算术电路进行端到端的 DNN 推理验证。
• 使用二次激活和求和池化，将神经网络表示为算术电路，在有限域 F_p 中操作。
• 应用多线性扩展和求和校验协议（包括一个矩阵乘法 IP 和一个二次激活 IP）来验证层计算。
• 通过验证最终激活层的输入并在验证方本地计算最终输出来细化网络输出。
• 通过缩放因子 alpha 和 beta，将浮点权重和输入量化为 F_p 的整数，并选择大素数（例如 2^61-1）以控制健壮性和准确性。
• 将证明者和验证者成本摊销到输入批次上，并限定总通信量和健全性误差。

实验结果

研究问题

• RQ1 不可信云如何在可验证正确性保证的前提下执行 DNN 推理？
• RQ2 当网络表示为算术电路时，哪些专门的 IP 技术能高效地验证神经网络的计算？
• RQ3 使用有限字段表示进行 DNN 推理在实际性能和准确性方面有哪些影响？
• RQ4 在保持强健的完整性保证的同时，证明的带宽和延迟能否保持轻量级？

主要发现

• 对于 FcNN-Quad-3，在批量大小 256–2048 时，客户端验证时间比本地执行快 8 倍到 80 倍。
• 生成证明的服务器开销小于基线未验证执行的 5%。
• 在 IP 协议期间，批量大小为 2048 时，客户端/服务器之间交换的总数据量不到 8 KBytes。
• 在实际网络参数下，健全性误差小于 1/2^30。
• SafetyNets 在 MNIST（99.4%）和 TIMIT（75.22%）上达到近似于最先进水平的准确性。
• 量化策略和素数选择在准确性与有限域约束之间取得平衡。