[论文解读] When Homomorphic Encryption Marries Secret Sharing: Secure Large-Scale Sparse Logistic Regression and Applications in Risk Control

Chaochao Chen, Jun Zhou+8 more|arXiv (Cornell University)|Aug 20, 2020

Cryptography and Data Security参考文献 51被引用 10

一句话总结

该论文提出CAESAR，一种新颖的混合框架，结合同态加密（HE）与秘密共享（SS），以实现在多方环境下的安全、高效且可扩展的大规模稀疏逻辑回归。通过利用HE处理稀疏特征，SS实现安全聚合，CAESAR在保持可证明安全性的同时，实现了相较于最先进方法130倍的加速，有效处理高维稀疏数据。

ABSTRACT

Logistic Regression (LR) is the most widely used machine learning model in industry for its efficiency, robustness, and interpretability. Due to the problem of data isolation and the requirement of high model performance, many applications in industry call for building a secure and efficient LR model for multiple parties. Most existing work uses either Homomorphic Encryption (HE) or Secret Sharing (SS) to build secure LR. HE based methods can deal with high-dimensional sparse features, but they incur potential security risks. SS based methods have provable security, but they have efficiency issue under high-dimensional sparse features. In this paper, we first present CAESAR, which combines HE and SS to build secure large-scale sparse logistic regression model and achieves both efficiency and security. We then present the distributed implementation of CAESAR for scalability requirement. We have deployed CAESAR in a risk control task and conducted comprehensive experiments. Our experimental results show that CAESAR improves the state-of-the-art model by around 130 times.

研究动机与目标

• 解决在大规模、高维、稀疏数据下隐私保护逻辑回归中安全与效率之间的权衡问题。
• 克服纯HE（在集中式环境中存在安全风险）与纯SS（在稀疏特征上效率低下）在多方机器学习中的局限性。
• 设计一种混合系统，在保护数据隐私的同时，实现在多方环境下的可扩展、高性能模型训练。
• 在真实世界的风险控制应用中部署并评估该系统，证明其实际可行性与性能优势。

提出的方法

• CAESAR结合同态加密（HE）用于稀疏特征的安全计算，以及秘密共享（SS）用于梯度与模型更新的安全聚合。
• 系统采用两方架构，其中一方（Alice）执行基于HE的特征处理，另一方（Bob）负责秘密共享，最大限度减少通信开销。
• CAESAR通过在多个工作节点间分布部署，实现对大规模数据集的扩展，支持多方环境下的水平可扩展性。
• 框架采用Beaver三元组协议实现安全乘法运算，并通过批量处理操作与减少冗余传输，优化通信复杂度。
• 采用混合计算模型：HE用于稀疏特征运算，SS用于密集模型参数更新，实现效率与安全性的平衡。
• 系统使用为工业规模应用中稀疏数据工作负载量身定制的优化密码原语与通信协议实现。

实验结果

研究问题

• RQ1 结合HE与SS的混合系统是否能在大规模稀疏逻辑回归中同时实现可证明安全与高效率？
• RQ2 HE与SS的集成如何缓解现有纯HE或纯SS方法在可扩展性与安全性方面的局限？
• RQ3 该混合设计在多方稀疏模型训练中，能在多大程度上降低通信与计算开销？
• RQ4 该系统在真实世界工业应用中表现如何，特别是在高维稀疏数据的风险控制场景中？

主要发现

• 在低带宽条件下，CAESAR将最先进安全逻辑回归模型的训练速度提升最高达130倍。
• 与仅使用明文的模型相比，CAESAR在Precision@0.9条件下实现36.55%的召回率提升，显著增强风险检测能力，同时不牺牲精度。
• 在批量大小为4,096时，CAESAR相较SecureML实现130倍加速，证明在真实数据处理工作负载下具有显著性能优势。
• 系统在特征数量与批量大小上均呈现线性可扩展性，且随着网络带宽增加，运行时间减少，表明具备强大的水平可扩展性。
• 通过批量处理与混合计算降低通信复杂度，当带宽较高时，计算时间成为瓶颈，证实系统在真实世界约束下的高效性。