[论文解读] Secure Quantized Training for Deep Learning

Marcel Keller, Ke Sun|arXiv (Cornell University)|Jul 1, 2021

Cryptography and Data Security参考文献 35被引用 11

一句话总结

本论文首次实现了多方计算（MPC）环境下端到端的安全量化训练深度神经网络，仅用3.5小时即在MNIST上达到99.2%的准确率——与明文训练相比仅低0.2%——并基于新型MPC优化协议实现了指数运算和开方倒数运算。该方法在诚实和恶意安全模型下均实现了高效且隐私保护的训练，得益于CPU优化与通信高效的架构设计，其性能优于以往基于GPU的MPC实现。

ABSTRACT

We implement training of neural networks in secure multi-party computation (MPC) using quantization commonly used in said setting. We are the first to present an MNIST classifier purely trained in MPC that comes within 0.2 percent of the accuracy of the same convolutional neural network trained via plaintext computation. More concretely, we have trained a network with two convolutional and two dense layers to 99.2% accuracy in 3.5 hours (under one hour for 99% accuracy). We have also implemented AlexNet for CIFAR-10, which converges in a few hours. We develop novel protocols for exponentiation and inverse square root. Finally, we present experiments in a range of MPC security models for up to ten parties, both with honest and dishonest majority as well as semi-honest and malicious security.

研究动机与目标

• 在不暴露模型权重或数据的前提下，利用多方计算（MPC）实现深度神经网络的安全私有训练。
• 在MPC中实现高精度模型，使其性能与明文训练高度接近，尤其在MNIST和CIFAR-10等标准基准上。
• 为计算密集型操作（如指数运算和开方倒数）开发高效的MPC原生协议，这些操作对Softmax及Adam/AMSGrad优化器至关重要。
• 证明在MPC中，基于CPU的实现可因通信瓶颈而非算力优势，超越基于GPU的实现。
• 提供一个可扩展、可扩展的框架，支持诚实与恶意安全模型，以及诚实多数与非诚实多数模型。

提出的方法

• 通过将浮点数按$ 2^f $缩放后四舍五入为最接近的整数，使用量化表示为定点整数，从而在MPC中实现高效的整数算术运算。
• 采用混合电路计算，结合基于$ \mathbb{Z}_M $的整数算术与基于$ \mathbb{Z}_2 $的二进制电路，安全计算非线性函数。
• 提出针对指数运算和开方倒数的新型MPC协议，这些操作对Softmax及Adam/AMSGrad优化器至关重要，且具备形式化安全性和误差界。
• 基于MP-SPDZ MPC框架实现，将深度学习模型作为类似PyTorch/TensorFlow的逐层组合，但原生使用C++实现以获得高性能。
• 使用明文模拟器在真实MPC部署前对训练准确率和收敛性进行基准测试，确保正确性与性能可预测性。
• 采用AMSGrad优化器，结合量化梯度与非线性运算的安全计算，最大限度减少量化和近似带来的准确率损失。

实验结果

研究问题

• RQ1 安全多方计算能否实现与明文训练性能相当的深度神经网络训练？
• RQ2 量化与非线性运算（如指数运算和开方倒数）的安全计算对模型准确率和训练效率有何影响？
• RQ3 由于通信开销，基于CPU的MPC是否在安全深度学习中优于基于GPU的MPC？
• RQ4 能否在合理收敛时间内高效实现复杂模型（如AlexNet）在MPC中的安全训练？
• RQ5 不同MPC安全模型（诚实 vs. 恶意，多数 vs. 非诚实多数）对训练性能与可扩展性有何影响？

主要发现

• 作者在MPC中完全训练了一个包含两层卷积和两层全连接的网络，MNIST测试准确率达到99.2%，与明文基线相比仅低0.2%。
• 同一模型在不到一小时内即达到99%准确率，证明了其在现实世界隐私保护训练中的实际可行性。
• AlexNet在CIFAR-10上使用MPC在数小时内成功训练，证实了其在更深架构中的可扩展性。
• 针对指数运算和开方倒数的新型协议，使得在MPC中以有界误差准确计算Softmax和Adam/AMSGrad优化器成为可能。
• 尽管仅使用CPU，基于CPU的MPC实现因通信效率更高，训练速度比基于GPU的实现快40%。
• 该框架支持多种安全模型，包括半诚实和恶意安全模型，最多支持十个参与方，证明了其鲁棒性与可扩展性。