[论文解读] Secure Sum Outperforms Homomorphic Encryption in (Current) Collaborative Deep Learning

Derian Boer, Stefan Krämer|arXiv (Cornell University)|Jun 2, 2020

Privacy-Preserving Technologies in Data被引用 7

一句话总结

该论文提出了一种基于秘密共享的隐私安全求和协议，作为水平划分数据上协作深度学习中同态加密（HE）的更高效替代方案。实验表明，该安全求和方法将训练时间从同态加密的2.5小时缩短至6–35分钟（使用4个线程），同时在工业和医疗场景中保持了强大的防共谋攻击能力与隐私保障。

ABSTRACT

Deep learning (DL) approaches are achieving extraordinary results in a wide range of domains, but often require a massive collection of private data. Hence, methods for training neural networks on the joint data of different data owners, that keep each party's input confidential, are called for. We address a specific setting in federated learning, namely that of deep learning from horizontally distributed data with a limited number of parties, where their vulnerable intermediate results have to be processed in a privacy-preserving manner. This setting can be found in medical and healthcare as well as industrial applications. The predominant scheme for this is based on homomorphic encryption (HE), and it is widely considered to be without alternative. In contrast to this, we demonstrate that a carefully chosen, less complex and computationally less expensive secure sum protocol in conjunction with default secure channels exhibits superior properties in terms of both collusion-resistance and runtime. Finally, we discuss several open research questions in the context of collaborative DL, especially regarding privacy risks caused by joint intermediate results.

研究动机与目标

• 解决在少量、非共谋参与方（如医疗和工业B2B应用）环境下的隐私保护协作深度学习问题。
• 克服在水平划分数据的联邦学习中，同态加密（HE）因计算开销高且可扩展性差带来的局限。
• 评估安全求和协议作为深度学习中梯度聚合对同态加密的可行替代方案，在安全性与效率方面的表现。
• 研究在训练迭代过程中重复共享中间模型参数所导致的隐私泄露风险。
• 探索将安全聚合扩展至多于两个参与方的垂直划分或任意划分数据的可行性。

提出的方法

• 采用基于秘密共享的安全求和协议，在不泄露各方具体贡献的前提下，实现多参与方之间的梯度聚合。
• 使用两两安全通信通道（如TLS）建立参与方之间的通信，避免依赖可信第三方。
• 实现一种防共谋协议，无需中心化权威机构或重新加密机制，区别于部分基于HE的方案。
• 在相同训练工作负载下，对比基于同态加密的聚合与所提出的安全求和协议在性能与安全性方面的差异。
• 使用标准深度神经网络（DNN）配合随机梯度下降（SGD）进行训练，在每次聚合步骤中应用安全求和协议。
• 测量在不同参与方数量（n ∈ {3,4,...,20}）下的运行时间与通信开销，以评估可扩展性与效率。

实验结果

研究问题

• RQ1 在水平划分数据的协作深度学习中，安全求和协议是否在运行时间与计算效率方面优于同态加密？
• RQ2 与基于HE的方案相比，所提出的安全求和协议在抵御共谋攻击方面的强度如何？
• RQ3 在训练过程中因重复共享中间模型参数而存在多大程度的重建个体数据输入的风险？
• RQ4 是否在计算上不可行通过求解反向工程聚合梯度所得到的非线性方程组来恢复私有数据？
• RQ5 当应用于真实世界的协作深度学习工作负载时，安全求和与同态加密在性能与安全性方面有何对比？

主要发现

• 安全求和协议将训练时间从使用HE（20个线程）的2.5小时缩短至使用4个线程的6–35分钟，显著提升了性能。
• 安全求和协议实现了完全的防共谋能力，无需可信第三方或复杂的密钥管理机制，而这是许多基于HE的方法所不具备的。
• 运行时间对延迟高度敏感，但即使在网络延迟适中（16ms RTT）的情况下，安全求和协议仍显著快于同态加密。
• 用于从中间梯度重建个体数据的方程组被发现具有高度非线性，使用标准求解器（如SciPy或SageMath）无法求解。
• 由于SGD对初始条件高度敏感，且逆问题具有强非线性，实际中从中间参数精确重建输入数据极不可能。
• 本研究指出，亟需更高效的同态加密技术以支持端到端加密训练，特别是针对多参与方之间的垂直划分或任意划分数据。