[论文解读] Vertical Federated Learning without Revealing Intersection Membership

Jiankai Sun, Yang Xin+5 more|arXiv (Cornell University)|Jun 10, 2021

Privacy-Preserving Technologies in Data参考文献 36被引用 17

一句话总结

本文提出了一种新颖的纵向联邦学习（vFL）框架，通过用私有集合并集（PSU）协议替代私有集合交集（PSI），保护交集成员隐私。该框架仅揭示数据实体的并集，而非其共享成员关系。框架为非交集样本生成合成特征和标签，在保持高模型效用的同时，防止任何一方获知组织间共享的实体信息。

ABSTRACT

Vertical Federated Learning (vFL) allows multiple parties that own different attributes (e.g. features and labels) of the same data entity (e.g. a person) to jointly train a model. To prepare the training data, vFL needs to identify the common data entities shared by all parties. It is usually achieved by Private Set Intersection (PSI) which identifies the intersection of training samples from all parties by using personal identifiable information (e.g. email) as sample IDs to align data instances. As a result, PSI would make sample IDs of the intersection visible to all parties, and therefore each party can know that the data entities shown in the intersection also appear in the other parties, i.e. intersection membership. However, in many real-world privacy-sensitive organizations, e.g. banks and hospitals, revealing membership of their data entities is prohibited. In this paper, we propose a vFL framework based on Private Set Union (PSU) that allows each party to keep sensitive membership information to itself. Instead of identifying the intersection of all training samples, our PSU protocol generates the union of samples as training instances. In addition, we propose strategies to generate synthetic features and labels to handle samples that belong to the union but not the intersection. Through extensive experiments on two real-world datasets, we show our framework can protect the privacy of the intersection membership while maintaining the model utility.

研究动机与目标

• 解决纵向联邦学习中各方获知组织间共享数据实体的严重隐私泄露问题。
• 克服现有基于PSI的vFL系统向所有参与方暴露交集成员信息的局限性。
• 设计一种安全、隐私保护的vFL框架，保护医疗和金融等隐私敏感领域中的敏感成员信息。
• 在使用非交集样本的合成数据情况下，仍保持高模型效用。
• 提供首个同时保护所有参与方交集成员隐私的解决方案，而非仅保护一方或非对称保护。

提出的方法

• 用一种新型私有集合并集（PSU）协议替代传统的私有集合交集（PSI），该协议识别训练样本的并集而非交集。
• 设计一种安全的数据对齐机制，不泄露交集样本的ID，从而防止成员信息泄露。
• 为并集中存在但交集中不存在的样本设计合成特征与标签生成策略，以支持在全部可用数据上进行模型训练。
• 应用logits偏移技术以降低模型反演攻击的成功率，增强对成员推理攻击的隐私防护。
• 采用改进的WDL模型架构，包含嵌入层和深层MLP，分别在Criteo和Avazu数据集上训练，使用Adam优化器，初始学习率为1e-4。
• 在子采样的Criteo（10%）和完整Avazu数据集上实施90%-10%的训练-测试划分，批量大小为8,192，每轮实验训练3个周期。

实验结果

研究问题

• RQ1 能否设计一种vFL框架，使任何一方都无法获知组织间共享的数据实体？
• RQ2 如何在仅使用样本并集的前提下，实现安全的数据对齐而不泄露交集成员信息？
• RQ3 何种合成数据生成策略可在保护非交集样本隐私的同时保持模型效用？
• RQ4 与基线vFL系统相比，所提框架在多大程度上保持了模型性能？
• RQ5 logits偏移技术在所提框架中对缓解成员推理攻击的效率如何？

主要发现

• 所提出的基于PSU的vFL框架成功防止任何一方获知交集成员信息，实现了首个对所有参与方完全隐私保护的解决方案。
• 成员推理攻击的AUC显著降低，尤其在使用logits偏移后，表明对隐私泄露具有强大抵抗力。
• 与基线-partial相比，fea-sampling策略在α=0.95时仅导致6.7%的AUC下降，表明在高数据重叠下可接受的效用损失。
• 当同时使用合成特征与标签并结合logits偏移时，ACE（攻击置信度估计）大幅降低，显示出对模型反演攻击的增强鲁棒性。
• 与基线-partial相比，AUC下降幅度极小（−0.066%）在α=β=0.05时，即使在α=β=0.95时也保持可接受（−11.71%），表明强大的效用保持能力。
• 在真实世界Criteo和Avazu数据集上的实验表明，该框架在通过基于并集的安全对齐和合成数据生成确保隐私的同时，仍保持了高模型效用。