[论文解读] OpBoost: A Vertical Federated Tree Boosting Framework Based on Order-Preserving Desensitization

Xiaochen Li, Yuke Hu+6 more|arXiv (Cornell University)|Oct 4, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

OpBoost 是一种垂直联邦树提升框架，通过在基于距离的局部差分隐私（dLDP）下应用保持顺序的脱敏技术，提升了隐私保护和模型准确率。它引入了三种基于 dLDP 的优化算法——Global-map、Local-map 和 Adj-map，这些算法在最小化效用损失的同时保留了特征的相对顺序，相较于现有的基于 LDP 的方法，实现了显著更高的模型准确率，且计算和通信开销更低。

ABSTRACT

Vertical Federated Learning (FL) is a new paradigm that enables users with non-overlapping attributes of the same data samples to jointly train a model without directly sharing the raw data. Nevertheless, recent works show that it's still not sufficient to prevent privacy leakage from the training process or the trained model. This paper focuses on studying the privacy-preserving tree boosting algorithms under the vertical FL. The existing solutions based on cryptography involve heavy computation and communication overhead and are vulnerable to inference attacks. Although the solution based on Local Differential Privacy (LDP) addresses the above problems, it leads to the low accuracy of the trained model. This paper explores to improve the accuracy of the widely deployed tree boosting algorithms satisfying differential privacy under vertical FL. Specifically, we introduce a framework called OpBoost. Three order-preserving desensitization algorithms satisfying a variant of LDP called distance-based LDP (dLDP) are designed to desensitize the training data. In particular, we optimize the dLDP definition and study efficient sampling distributions to further improve the accuracy and efficiency of the proposed algorithms. The proposed algorithms provide a trade-off between the privacy of pairs with large distance and the utility of desensitized values. Comprehensive evaluations show that OpBoost has a better performance on prediction accuracy of trained models compared with existing LDP approaches on reasonable settings. Our code is open source.

研究动机与目标

• 为解决在模型训练过程中，由于特征值排序导致的隐私泄露问题，特别是在垂直联邦树提升中。
• 克服传统局部差分隐私（LDP）机制对所有值对一视同仁、不考虑距离差异所导致的准确率下降问题。
• 设计一种基于 dLDP 的框架，以保留相对顺序信息，从而提升模型效用，同时确保强隐私保障。
• 优化 dLDP 的定义和采样分布，以在树提升场景中提升效率和准确率。
• 提供一个实用的开源框架，实现在真实世界垂直联邦学习部署中，隐私、准确率与性能之间的平衡。

提出的方法

• 提出一种专为有序数据设计的新型 dLDP 变体，根据值对之间的距离，允许不同的不可区分性水平。
• 设计三种保持顺序的脱敏算法：Global-map、Local-map 和 Adj-map，每种算法均支持可配置参数以实现隐私-效用权衡。
• 优化 dLDP 定义，在保持隐私的前提下减少噪声，尤其针对远距离值对。
• 采用有界离散拉普拉斯分布作为采样机制，相比标准拉普拉斯噪声，显著降低了计算开销。
• 支持灵活的参数调优（α 和 θ），以适应特定领域的特征分布和隐私预算。
• 将脱敏流程集成到垂直联邦 GBDT 训练框架中，在强隐私约束下仍能保持模型性能。

实验结果

研究问题

• RQ1 dLDP 能否有效适应垂直联邦学习中树提升的特征值有序结构？
• RQ2 如何优化 dLDP 以在保持强隐私保障的同时减少效用损失？
• RQ3 不同的脱敏策略（Global-map、Local-map、Adj-map）对垂直联邦树提升中模型准确率和效率的影响如何？
• RQ4 参数选择（α、θ、ε）如何影响所提框架中隐私与模型效用之间的权衡？
• RQ5 所提框架能否在准确率上超越现有的基于 LDP 和密码学的垂直联邦树提升方法？

主要发现

• OpBoost 在预测准确率上显著优于现有基于 LDP 的方法，尤其在低隐私预算下（例如 ε < 1）表现更优。
• 在中等隐私要求下，Local-map 算法在模型效用方面始终优于其他脱敏方法。
• 当具备领域知识且 α 和 θ 参数经过仔细调优时，Adj-map 算法的准确率高于 Global-map。
• 使用有界离散拉普拉斯分布相比标准拉普拉斯采样，显著降低了计算开销，提升了效率，且未牺牲隐私保障。
• 该框架在计算和通信成本方面表现极低，相较于基于 HE 和 MPC 的方法，效率更高。
• 实验结果表明，α > 1 在大多数实际场景中已足够，且当 α = 10 时无进一步提升，表明存在最优参数范围。