[论文解读] Similarity-based Label Inference Attack against Training and Inference of Split Learning

Junlin Liu, Xinchen Lyu+2 more|arXiv (Cornell University)|Mar 10, 2022

Privacy-Preserving Technologies in Data被引用 15

一句话总结

本文提出了一种针对实际分割学习的被动聚类标签推断攻击，利用梯度和压缩数据，能够以接近100%的准确率恢复出私有标签。该攻击使用余弦相似度和欧几里得相似度度量，实现近乎100%的聚类准确率，在多种设置和防御机制（如差分隐私和梯度压缩）下仍保持鲁棒性。

ABSTRACT

Split learning is a promising paradigm for privacy-preserving distributed learning. The learning model can be cut into multiple portions to be collaboratively trained at the participants by exchanging only the intermediate results at the cut layer. Understanding the security performance of split learning is critical for many privacy-sensitive applications. This paper shows that the exchanged intermediate results, including the smashed data (i.e., extracted features from the raw data) and gradients during training and inference of split learning, can already reveal the private labels. We mathematically analyze the potential label leakages and propose the cosine and Euclidean similarity measurements for gradients and smashed data, respectively. Then, the two similarity measurements are shown to be unified in Euclidean space. Based on the similarity metric, we design three label inference attacks to efficiently recover the private labels during both the training and inference phases. Experimental results validate that the proposed approaches can achieve close to 100% accuracy of label attacks. The proposed attack can still achieve accurate predictions against various state-of-the-art defense mechanisms, including DP-SGD, label differential privacy, gradient compression, and Marvell.

研究动机与目标

• 探究在实际设置中，带有标签保护的分割学习是否真正防止了私有标签泄露。
• 开发一种在不同切割层位置、训练超参数和防御机制下均适用的可扩展且鲁棒的标签推断攻击。
• 从数学上分析多分类分割学习中梯度和压缩数据导致的标签泄露。
• 评估常见防御措施——差分隐私和梯度压缩——对标签推断攻击的防护效果。

提出的方法

• 提出一种基于训练和推理过程中交换的梯度和压缩数据的被动聚类标签推断攻击。
• 引入余弦相似度和欧几里得相似度度量，根据梯度和特征表示对数据点进行聚类。
• 分析了来自梯度（客户端侧、服务端侧及两种中间形式）和压缩数据的四种类型标签泄露。
• 采用基于聚类的推断框架，将梯度和特征映射为标签预测，无需访问受害模型的架构信息。
• 在多个数据集（CIFAR-10、CIFAR-100、Fashion-MNIST、Dogs vs. Cats）上验证了该攻击在不同切割层位置和训练配置下的有效性。
• 评估了在差分隐私（通过可调ε的DP-SGD实现）和梯度压缩（不同剪枝比率）下的鲁棒性。

实验结果

研究问题

• RQ1 在限制标签共享的情况下，是否仍能从梯度和压缩数据中准确恢复出私有标签？
• RQ2 在实际分割学习设置中，该攻击在不同切割层位置、训练轮次和批量大小下的表现如何？
• RQ3 标准防御措施如差分隐私和梯度压缩在多大程度上能缓解标签推断攻击？
• RQ4 与前向传播特征相比，标签泄露在梯度中是否更显著？原因是什么？

主要发现

• 所提出的聚类攻击在CIFAR-10、CIFAR-100、Fashion-MNIST和Dogs vs. Cats数据集上，针对不同切割层位置和训练超参数，实现了接近100%的标签推断准确率。
• 该攻击在梯度压缩下仍保持鲁棒性，即使在压缩比高达0.9时仍维持高准确率。
• 差分隐私无法有效保护标签，因为即使在低ε值（如ε < 1）下噪声水平较高时，攻击仍保持高准确率。
• 该攻击在准确率上优于标准模型推理，表明梯度所携带的与标签相关的信息比特征更多，这是由于梯度通过损失函数依赖于真实标签。
• 从梯度中进行标签推断比从压缩数据中更有效，因为梯度通过反向传播编码了与真实标签更强的相关性。
• 该攻击在服务端和客户端威胁模型下均具有可扩展性和有效性，证明了其在现实世界分割学习部署中的实际可行性。