[论文解读] Privacy-Preserving XGBoost Inference

Xianrui Meng, Joan Feigenbaum|arXiv (Cornell University)|Nov 9, 2020

Privacy-Preserving Technologies in Data参考文献 36被引用 10

一句话总结

本文提出PPXGBoost，一种用于XGBoost模型的隐私保护推理协议，使客户端能够向远程机器学习服务提交加密查询并接收加密预测结果，同时保护数据隐私。该方法使用加法同态加密和有序加密，安全地评估基于树的预测，实验结果表明其在AWS SageMaker等真实生产环境中的实际可行性。

ABSTRACT

Although machine learning (ML) is widely used for predictive tasks, there are important scenarios in which ML cannot be used or at least cannot achieve its full potential. A major barrier to adoption is the sensitive nature of predictive queries. Individual users may lack sufficiently rich datasets to train accurate models locally but also be unwilling to send sensitive queries to commercial services that vend such models. One central goal of privacy-preserving machine learning (PPML) is to enable users to submit encrypted queries to a remote ML service, receive encrypted results, and decrypt them locally. We aim at developing practical solutions for real-world privacy-preserving ML inference problems. In this paper, we propose a privacy-preserving XGBoost prediction algorithm, which we have implemented and evaluated empirically on AWS SageMaker. Experimental results indicate that our algorithm is efficient enough to be used in real ML production environments.

研究动机与目标

• 解决在真实系统中部署隐私保护机器学习所面临的挑战，即必须保护敏感数据和模型。
• 实现在XGBoost模型上安全的加密推理，而无需向服务提供商暴露输入查询、模型参数或预测结果。
• 设计一种实用解决方案，在强隐私保障与适合生产环境的计算效率之间取得平衡。
• 在定义的泄露模型下形式化并证明协议的安全属性，确保仅泄露最少信息。

提出的方法

• 协议使用加法同态加密（SHE）方案，安全地计算XGBoost模型中各决策树得分的总和。
• 使用有序加密（OPE）将特征值与分割阈值进行加密形式的比较，实现无需解密的安全树遍历。
• 在设置阶段对模型进行预处理，加密所有树节点和分割阈值，仅泄露结构元数据（如树深度、节点顺序）。
• 在推理过程中，客户端加密输入特征并发送给服务器，服务器评估加密的树路径并返回加密的预测结果。
• 构建模拟器以证明安全性，表明唯一泄露的信息是树的数量、树深度、节点顺序和查询模式。
• 协议确保明文查询、结果和模型值在整个计算过程中保持机密。

实验结果

研究问题

• RQ1 能否为XGBoost构建一个隐私保护推理协议，支持对基于树的模型进行高效且安全的评估？
• RQ2 此类协议中不可避免的最小信息泄露是什么？能否对其进行形式化表征？
• RQ3 该协议能否实现足够高的效率，以在真实世界生产系统（如AWS SageMaker）中可行使用？
• RQ4 底层同态加密和有序加密方案的安全保证如何共同贡献于推理过程的整体隐私性？

主要发现

• PPXGBoost协议成功实现了对XGBoost模型的安全加密推理，仅泄露结构元数据和查询模式。
• 该协议实现了实际性能，实验评估表明其在AWS SageMaker等真实部署环境中的可行性。
• 在泄露弹性模型下形式化证明了安全性，表明未泄露额外信息（如查询值、模型参数或预测输出）。
• 使用加法同态加密和有序加密可实现无需暴露敏感数据的安全树遍历与得分聚合。
• 该协议支持使用标准XGBoost推理模式的分类和回归任务，性能开销极低。