[论文解读] Privacy-Preserving Tree-Based Inference with TFHE

Jordan Fréry, Andrei Stoian+5 more|arXiv (Cornell University)|Feb 13, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种基于TFHE全同态加密方案的树模型隐私保护推理框架。通过利用优化的整数表示和可编程刷新技术，该方法在保持与明文推理几乎相同的准确率的同时，实现了具有竞争力的延迟，从而实现了对加密数据上决策树、随机森林和梯度提升树的安全部署。

ABSTRACT

Privacy enhancing technologies (PETs) have been proposed as a way to protect the privacy of data while still allowing for data analysis. In this work, we focus on Fully Homomorphic Encryption (FHE), a powerful tool that allows for arbitrary computations to be performed on encrypted data. FHE has received lots of attention in the past few years and has reached realistic execution times and correctness. More precisely, we explain in this paper how we apply FHE to tree-based models and get state-of-the-art solutions over encrypted tabular data. We show that our method is applicable to a wide range of tree-based models, including decision trees, random forests, and gradient boosted trees, and has been implemented within the Concrete-ML library, which is open-source at https://github.com/zama-ai/concrete-ml. With a selected set of use-cases, we demonstrate that our FHE version is very close to the unprotected version in terms of accuracy.

研究动机与目标

• 在不暴露敏感输入的前提下，实现对加密数据上树模型的安全推理。
• 解决现有基于FHE的树模型推理方法中高延迟和准确率损失的问题。
• 以最小的准确率下降，支持单个决策树和集成模型（随机森林、XGBoost）。
• 自动化密码系统参数选择，以在精度、速度和容错性之间实现最佳权衡。
• 证明基于FHE的推理可实现与明文性能相差不超过1%的准确率，同时具备实际部署的可行性。

提出的方法

• 该方法利用TFHE的可编程刷新（PBS）技术，同态地评估非线性决策函数（如比较操作），从而实现在加密数据上的正确树遍历。
• 通过将特征表示为量化整数，控制消息空间大小，并减少同态操作过程中的噪声增长。
• 通过参数化FHE方案以支持在多个树节点上累积密文，实现分层同态计算。
• 自动化优化管道基于模型结构和期望的容错水平，确定最优FHE参数（如安全级别、精度）。
• 该方法支持决策树、随机森林和梯度提升树在分类和回归任务中的应用。
• 实现已集成至开源Concrete-ML库，支持端到端的隐私保护推理。

Figure 1: TFHE operations representing algorithm 2 . The $\Sigma$ nodes represent leveled accumulation and $T[x]$ nodes represent table look-up operations implemented with PBS

实验结果

研究问题

• RQ1 基于TFHE的同态加密能否在加密的表格数据上实现对树模型的准确且高效的推理？
• RQ2 可编程刷新的使用如何提升在FHE中评估非线性决策函数的可行性？
• RQ3 在隐私保护推理中，量化精度、FHE执行延迟与模型准确率之间的权衡关系如何？
• RQ4 该方法能否在保持强安全保证的同时，实现与明文执行相当的推理准确率？
• RQ5 PBS错误概率的选择如何影响实际部署中的性能与正确性？

主要发现

• 基于FHE的推理在所有测试数据集（包括adult、wine、steel和heart disease）上均实现了与明文推理相差不超过1%的准确率。
• FHE推理的延迟范围为1.18秒（wdbc）至81.94秒（heart-h），与FP32模型相比，中位数加速比约为10,000倍。
• 使用PBS错误概率为0.05可将延迟降低最多8倍，同时保持模型准确率不变，表明该权衡在生产环境中具有可行性。
• 在wine数据集上，FHE随机森林实现了98.5%的准确率，与明文模型的98.1%准确率相当。
• 对于steel数据集，FHE-XGBoost实现了100%的准确率，与FP32基线一致，延迟为8.78秒。
• 自动化参数选择流程实现了对每种模型的FHE参数最优配置，显著减少了手动调优的需要。

Figure 2: Experiment reporting the f1-score and average precision with varying precision on the spambase dataset.