[论文解读] Protecting Split Learning by Potential Energy Loss

Fei Zheng, Chaochao Chen+6 more|arXiv (Cornell University)|Oct 18, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种新型正则化方法——势能损失（PELoss），通过将同类别输出推向决策边界，提升执行标签泄露攻击的攻击者在分割学习中的泛化误差。通过模拟类间输出的排斥力，类似于静电排斥，PELoss使底模型的输出更加复杂，难以用少量标注样本进行微调，从而显著降低攻击者准确率，同时保持可接受的模型性能。

ABSTRACT

As a practical privacy-preserving learning method, split learning has drawn much attention in academia and industry. However, its security is constantly being questioned since the intermediate results are shared during training and inference. In this paper, we focus on the privacy leakage from the forward embeddings of split learning. Specifically, since the forward embeddings contain too much information about the label, the attacker can either use a few labeled samples to fine-tune the top model or perform unsupervised attacks such as clustering to infer the true labels from the forward embeddings. To prevent such kind of privacy leakage, we propose the potential energy loss to make the forward embeddings become more 'complicated', by pushing embeddings of the same class towards the decision boundary. Therefore, it is hard for the attacker to learn from the forward embeddings. Experiment results show that our method significantly lowers the performance of both fine-tuning attacks and clustering attacks.

研究动机与目标

• 解决分割学习中的隐私泄露风险，即攻击者可仅用少量标注样本重建标签并微调底模型。
• 识别出核心问题在于标准分割学习中同类别输出分布紧凑且聚集，使攻击者能有效进行微调。
• 将隐私保护问题重新构型为泛化误差最大化任务：使攻击者难以从少量标注样本中泛化。
• 提出一种受物理启发的损失函数——势能损失（PELoss），通过将同类别输出重新分布至决策边界附近，以增加攻击者的不确定性。
• 证明PELoss在隐私保护方面优于现有方法（如距离相关损失DcorLoss），且在稳定性和性能权衡上表现更优。

提出的方法

• 引入势能损失项，用于建模底模型特征空间中所有同类别输出对之间的排斥力。
• 损失函数定义为同类别输出对之间倒数距离之和，乘以超参数α，以促使输出向决策边界扩散。
• 在分割学习训练过程中将PELoss作为正则项集成，改变损失景观，使同类别输出分布更稀疏、更分散。
• 在保持标准分割学习通信与优化协议的前提下，使用PELoss训练底模型。
• 使用超参数α控制排斥强度：α越大，对同类别紧凑簇的惩罚越高。
• 采用早停与模型保存策略以确保收敛性与鲁棒性，评估指标包括测试准确率与攻击者微调性能。

Figure 1: Label leakage attack of split learning.

实验结果

研究问题

• RQ1 能否通过修改底模型的输出分布来降低分割学习中标签泄露攻击的成功率？
• RQ2 将同类别输出推向决策边界是否能增加攻击者仅用少量标注样本微调底模型时的泛化误差？
• RQ3 与现有方法（如距离相关损失）相比，所提出的势能损失在隐私保护与模型性能方面的表现如何？
• RQ4 当排斥强度增加时，该方法在不同数据集与超参数设置下是否仍具稳定性？
• RQ5 PELoss对主学习任务的收敛速度与最终准确率的影响程度如何？

主要发现

• 在所有数据集（MNIST、Fashion-MNIST、CIFAR-10）上，PELoss显著降低了攻击者的微调准确率，当α ≥ 8时，攻击者准确率已低于使用相同泄露标签从零开始训练的基线水平。
• 平均而言，PELoss在相同测试准确率水平下，攻击者准确率低于DcorLoss，证明其具备更强的隐私保护能力。
• PELoss曲线比DcorLoss更平滑且对α的响应更灵敏，从而实现更优、更可预测的隐私与性能权衡。
• 即使在高α值（如α = 16）下，PELoss训练仍保持稳定，而DcorLoss在类似条件下常导致训练发散。
• 使用PELoss时收敛速度仅略有下降，对训练效率影响极小，具备实际部署可行性。
• t-SNE可视化结果证实，PELoss能有效分散同类别输出，使聚类重叠且更难分离——尤其在CIFAR-10中表现明显，因模型容量更高。

Figure 2: A small error on the decision region caused by small sample size (left) leads to a large generalization error (right).