[论文解读] On the relationship between (secure) multi-party computation and (secure) federated learning

Huafei Zhu|arXiv (Cornell University)|Aug 6, 2020

Privacy-Preserving Technologies in Data参考文献 12被引用 10

一句话总结

本文建立了联邦学习（FL）与多方计算（MPC）之间的正式关系，通过将每个FL轮次建模为m元功能，证明FL是MPC的一个子集。此外，若FL实现基于模拟的安全性，则安全联邦学习（SFL）是安全多方计算（SMPC）的一个子集，从而在MPC框架下统一了隐私保护联邦学习。

ABSTRACT

The contribution of this short note, contains the following two parts: in the first part, we are able to show that the federate learning (FL) procedure presented by Kairouz et al. \cite{Kairouz1901}, is a random processing. Namely, an $m$-ary functionality for the FL procedure can be defined in the context of multi-party computation (MPC); Furthermore, an instance of FL protocol along Kairouz et al.'s definition can be viewed as an implementation of the defined $m$-ary functionality. As such, an instance of FL procedure is also an instance of MPC protocol. In short, FL is a subset of MPC. To privately computing the defined FL (m-ary) functionality, various techniques such as homomorphic encryption (HE), secure multi-party computation (SMPC) and differential privacy (DP) have been deployed. In the second part, we are able to show that if the underlying FL instance privately computes the defined $m$-ary functionality in the simulation-based framework, then the simulation-based FL solution is also an instance of SMPC. Consequently, SFL is a subset of SMPC.

研究动机与目标

• 澄清联邦学习（FL）与多方计算（MPC）之间的正式关系。
• 探究FL协议是否可被视为MPC协议的实例。
• 检验基于模拟框架的安全联邦学习（SFL）是否为安全多方计算（SMPC）的子集。
• 在MPC框架内，将FL过程形式化为m元功能。

提出的方法

• 为每个FL轮次$j$定义一个m元功能$f_j$，将来自$m$方（客户端和服务器）的输入映射到包括模型更新在内的输出。
• 将FL过程建模为轮次功能的复合：$f_{\text{FL}} = f_n \circ \cdots \circ f_1$。
• 将每方的视图表示为仅追加的数据结构$\mathrm{View}_i^\Pi(\overline{x})$，其中包含输入、随机性及系统参数。
• 应用SMPC复合定理，证明若每个轮次$f_j$被安全计算，则整个FL功能$f_{\text{FL}}$也被安全计算。
• 使用带预言机的协议来建模私有约简，通过$f_j$实现$f_{\text{FL}}$的安全计算。
• 通过基于模拟的不可区分性定义安全性：模拟器$S$必须生成与真实协议视图在计算上不可区分的视图。

实验结果

研究问题

• RQ1 联邦学习协议能否被正式建模为多方计算（MPC）的实例？
• RQ2 联邦学习（FL）是否为多方计算（MPC）的真子集？
• RQ3 基于模拟的安全联邦学习（SFL）协议是否也满足安全多方计算（SMPC）的安全保证？
• RQ4 FL过程能否表示为m元功能的复合，且在SMPC下是否可实现私有计算？

主要发现

• 联邦学习（FL）被正式确立为多方计算（MPC）的一个子集，因为每个FL轮次可被建模为m元功能。
• 在Kairouz等人定义下的FL协议实例是m元功能的实现，使FL成为MPC的一个特例。
• 若FL协议在基于模拟的框架下安全计算其功能，则它也是安全多方计算（SMPC）的一个实例。
• 基于模拟安全模型的安全联邦学习（SFL）是安全多方计算（SMPC）的一个子集。
• 通过SMPC复合定理组合安全的轮次功能，可确保整个FL过程的端到端安全性。
• 使用带预言机的协议可实现将整体FL功能私有约简为单个轮次功能，支持模块化安全分析。