[论文解读] Revocable Federated Learning: A Benchmark of Federated Forest

Yang Liu, Zhuo Ma+4 more|arXiv (Cornell University)|Nov 8, 2019

Privacy-Preserving Technologies in Data参考文献 36被引用 8

一句话总结

本文提出了一种新型框架——可撤销联邦随机森林（Revocable Federated Random Forest, RevFRF），实现了支持参与者撤销的安全、隐私保护联邦学习。通过同态加密技术，RevFRF 在不暴露本地数据的情况下构建并预测随机森林模型，同时确保被撤销参与者的贡献被安全地从模型中移除，在现实世界协作环境中实现了高效率与强隐私保障。

ABSTRACT

A learning federation is composed of multiple participants who use the federated learning technique to collaboratively train a machine learning model without directly revealing the local data. Nevertheless, the existing federated learning frameworks have a serious defect that even a participant is revoked, its data are still remembered by the trained model. In a company-level cooperation, allowing the remaining companies to use a trained model that contains the memories from a revoked company is obviously unacceptable, because it can lead to a big conflict of interest. Therefore, we emphatically discuss the participant revocation problem of federated learning and design a revocable federated random forest (RF) framework, RevFRF, to further illustrate the concept of revocable federated learning. In RevFRF, we first define the security problems to be resolved by a revocable federated RF. Then, a suite of homomorphic encryption based secure protocols are designed for federated RF construction, prediction and revocation. Through theoretical analysis and experiments, we show that the protocols can securely and efficiently implement collaborative training of an RF and ensure that the memories of a revoked participant in the trained RF are securely removed.

研究动机与目标

• 解决联邦学习中被撤销参与者的数据仍嵌入于训练模型的隐私漏洞问题。
• 设计一种安全且高效的框架，支持在不损害模型效用的前提下实现联邦随机森林中的参与者撤销。
• 形式化并解决联邦学习中撤销隐私的安全挑战，特别是在医疗或企业等多方协作场景中。
• 证明在联邦随机森林设置下，可通过同态加密高效实现安全的模型构建、预测与撤销。

提出的方法

• 设计一种基于同态加密（HE）的安全联邦随机森林构建协议，实现树节点的安全聚合，而无需暴露本地数据。
• 实现一种多密钥同态加密方案，每位参与者使用其自身公钥加密其树节点，从而实现安全聚合与去中心化信任。
• 开发一种安全预测协议，允许对加密模型执行加密查询的评估，而不会暴露输入或模型结构。
• 引入两级撤销机制：第一级将被撤销参与者的贡献从模型中移除，第二级确保无任何残留信息留存。
• 通过仅对每个随机决策树（RDT）节点执行一次同态加密，优化同态加密的使用，与全数据集加密相比显著降低计算开销。
• 以分布式加密格式存储RDT节点，支持高效的撤销与模型重建。

实验结果

研究问题

• RQ1 联邦学习框架能否支持安全的参与者撤销，使得被撤销参与者的数据完全从训练模型中移除？
• RQ2 在联邦随机森林中，如何在不暴露本地数据或预测请求的情况下实现安全聚合与预测？
• RQ3 与不可撤销的替代方案相比，启用撤销机制在联邦随机森林框架中的性能开销如何？
• RQ4 能否通过优化同态加密的使用，降低联邦随机森林构建与预测过程中的计算与通信成本？

主要发现

• RevFRF 通过两级机制实现安全的参与者撤销：第一级将参与者贡献从模型中移除，第二级确保无任何残留数据痕迹留存。
• 与先前工作（Rana et al., 2015）相比，RevFRF 在树构建阶段将计算成本降低超过2000倍，通过将同态加密使用限制为每个RDT节点仅一次加密。
• 对于100个RDT节点和5000个样本，RevFRF的计算成本为3.09秒（构建）和13.33秒（预测），显著低于现有竞争协议。
• 通信成本被最小化至1.07MB（构建）和0.78MB（预测），在两项指标上均优于先前基于同态加密的方法。
• 在5名参与者被撤销的情况下，RevFRF 仅需9.8秒重建模型，而不可撤销框架（IRev.Fed）需31.1秒，显示出RevFRF在撤销场景下的显著效率优势。
• 实验结果证实，计算与通信成本随RDT节点数量和树深度呈线性增长，与理论分析一致。