[论文解读] SoK: Privacy-preserving Deep Learning with Homomorphic Encryption
本文系统性地综述了使用同态加密（HE）的隐私保护深度学习，分析了架构修改、激活函数适配以及性能权衡。它识别出计算开销和噪声预算限制等关键挑战，并提出了评估准则，以标准化基于同态加密的深度学习系统的比较。
Outsourced computation for neural networks allows users access to state of the art models without needing to invest in specialized hardware and know-how. The problem is that the users lose control over potentially privacy sensitive data. With homomorphic encryption (HE) computation can be performed on encrypted data without revealing its content. In this systematization of knowledge, we take an in-depth look at approaches that combine neural networks with HE for privacy preservation. We categorize the changes to neural network models and architectures to make them computable over HE and how these changes impact performance. We find numerous challenges to HE based privacy-preserving deep learning such as computational overhead, usability, and limitations posed by the encryption schemes.
研究动机与目标
- 系统化并分析现有将同态加密（HE）与深度神经网络结合以实现隐私保护的方法。
- 识别并分类为支持加密数据计算而对神经网络所作的架构修改。
- 评估HE特定适配对性能的影响，尤其是对激活函数和训练流程的影响。
- 建立标准化的评估标准，用于在内存、准确率和运行时间等指标上比较基于HE的深度学习系统。
- 突出开放的研究挑战，包括计算开销、噪声管理以及在大规模数据集上的可扩展性。
提出的方法
- 根据其架构、激活函数和训练适配方式，对18篇关于基于HE的深度学习的关键论文进行分类。
- 分析HE方案（PHE、SHE、FHE）如何限制神经网络操作，特别是乘法深度和噪声累积方面。
- 研究HE兼容的激活函数，如多项式逼近、查表法以及训练后替换方法。
- 探究降低计算成本的技术，包括密文打包、模型剪枝和激活分组。
- 提出一个标准化的评估框架，包含内存使用、加密数据上的模型准确率以及运行效率等指标。
- 评估使用GPU和FPGA进行硬件加速的潜力，以提升深度学习工作负载中HE的性能。
实验结果
研究问题
- RQ1为使深度神经网络与同态加密兼容，需要进行哪些主要的架构修改？
- RQ2不同激活函数设计如何影响基于HE的推理与训练中的模型准确率和噪声预算？
- RQ3基于HE的深度学习中的主要性能瓶颈是什么？如何通过系统级优化加以缓解？
- RQ4现有评估实践在多大程度上能够实现对基于HE的深度学习系统的公平且可复现的比较？
- RQ5在将基于HE的深度学习扩展到真实世界数据集（如ImageNet）方面，存在哪些开放挑战？
主要发现
- 同态加密通过允许在不解密的情况下对加密数据进行计算，实现了隐私保护的推理与训练，但引入了显著的计算开销。
- 激活函数是主要瓶颈，因其非线性、无界且非单调的导数特性，会迅速耗尽HE方案中的噪声预算。
- 对激活函数进行多项式逼近是一种可行的替代方案，可在保持模型性能的同时与HE操作兼容。
- 密文打包可将内存需求降低一个数量级，使在CIFAR-10等数据集上进行大规模推理成为可能，并为向ImageNet的扩展铺平道路。
- 模型剪枝和激活分组技术可在损失极小准确率的情况下实现高达30%的加速，表明在HE环境中具有优化潜力。
- 标准化的评估指标——尤其是内存使用和加密数据上的性能——对于公平比较至关重要，但许多现有研究未能报告这些指标。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。