[论文解读] Split Ways: Privacy-Preserving Training of Encrypted Data Using Split Learning

Tanveer Khan, Khoa Nguyen+1 more|arXiv (Cornell University)|Jan 20, 2023

Privacy-Preserving Technologies in Data参考文献 6被引用 4

一句话总结

本文提出了一种隐私保护机器学习框架，结合分割学习与同态加密（HE），在模型训练过程中保护客户端数据。客户端在发送前使用HE对激活图进行加密，实现对加密数据的安全计算——与明文训练相比，仅导致2.65%的准确率下降，同时完全保护了数据隐私。

ABSTRACT

Split Learning (SL) is a new collaborative learning technique that allows participants, e.g. a client and a server, to train machine learning models without the client sharing raw data. In this setting, the client initially applies its part of the machine learning model on the raw data to generate activation maps and then sends them to the server to continue the training process. Previous works in the field demonstrated that reconstructing activation maps could result in privacy leakage of client data. In addition to that, existing mitigation techniques that overcome the privacy leakage of SL prove to be significantly worse in terms of accuracy. In this paper, we improve upon previous works by constructing a protocol based on U-shaped SL that can operate on homomorphically encrypted data. More precisely, in our approach, the client applies Homomorphic Encryption (HE) on the activation maps before sending them to the server, thus protecting user privacy. This is an important improvement that reduces privacy leakage in comparison to other SL-based works. Finally, our results show that, with the optimum set of parameters, training with HE data in the U-shaped SL setting only reduces accuracy by 2.65% compared to training on plaintext. In addition, raw training data privacy is preserved.

研究动机与目标

• 解决分割学习中的隐私泄露问题，其中激活图可能被用于重建原始客户端数据。
• 将同态加密（HE）集成到分割学习中，以在不损害模型准确率的前提下保护激活图。
• 评估在隐私保护设置下，HE参数选择、训练效率与模型性能之间的权衡。
• 证明在分割学习中使用加密激活图可在确保数据机密性的同时维持高模型准确率。
• 为医疗AI等敏感应用提供一种实用且安全的传统分割学习替代方案。

提出的方法

• 客户端在原始数据上训练一个U型1D卷积神经网络，并在发送前计算激活图。
• 在客户端侧使用全同态加密（FHE）对激活图进行加密，再进行传输。
• 服务器在加密的激活图上执行反向传播和梯度更新，实现在无需解密的情况下进行计算。
• 模型采用U型架构，以减少通信量并提升分割学习中的特征表示能力。
• 评估了五组不同的HE参数配置，分别调整多项式模数（P）、系数模数（C）和缩放因子（Δ），以平衡准确率、训练时间和通信成本。
• 在MIT-BIH心律失常数据集上，使用明文和同态加密激活图进行了训练与评估。

Figure 2: Heartbeats from the processed ECG dataset.

实验结果

研究问题

• RQ1 同态加密能否有效集成到分割学习中，以防止来自激活图的隐私泄露？
• RQ2 不同的HE参数配置对分割学习中模型准确率、训练时间和通信开销有何影响？
• RQ3 在分割学习设置中，基于加密激活图训练的模型准确率与基于明文训练的模型相比如何？
• RQ4 在分割学习中使用HE是否能在保持可接受模型性能的同时保护数据隐私？
• RQ5 U型1D卷积神经网络架构是否能提升在加密数据上的分割学习中的隐私保护与性能表现？

主要发现

• 最佳HE参数配置（P=4096，C=[40,20,20]，Δ=2^21）实现了85.41%的测试准确率，仅比明文训练（88.06%）低2.65%。
• 使用HE参数P=8192的训练达到85.31%的准确率，但训练时间比最优P=4096配置长3.67倍，通信成本高出8.43倍。
• 最小HE参数配置（P=2048，C=[18,18,18]，Δ=2^16）训练时间最短（5,018秒），通信量最低（0.58 Tb），但准确率降至22.65%。
• U型分割学习架构通过消除向服务器传输原始输入和标签的需求，相比先前工作显著降低了隐私泄露风险。
• 可视化分析表明，明文激活图与原始输入数据高度相似，表明存在显著的隐私泄露——该问题在所提方法中通过加密得到缓解。
• 结果表明，基于HE的分割学习在隐私保护训练中具有可行性，当使用最优HE参数时，准确率仅下降2.65%。

Figure 3: Results when training locally on the plaintext MIT-BIH dataset with activation maps of size $[\text{batch size},256]$ .