[论文解读] Secure multiparty computations in floating-point arithmetic

Chuan Guo, Awni Hannun+4 more|arXiv (Cornell University)|Jan 9, 2020

Stochastic Gradient Optimization Techniques参考文献 10被引用 11

一句话总结

本文提出了一种基于标准IEEE双精度浮点数算术的隐私保护机器学习安全多方计算框架。通过严格控制信息泄露——每输入数据的信息泄露少于一百万分之一比特——实现了约10⁻⁵精度下的完美隐私，同时确保了数值稳定性与在通用CPU和GPU上的高性能表现。

ABSTRACT

Secure multiparty computations enable the distribution of so-called shares of sensitive data to multiple parties such that the multiple parties can effectively process the data while being unable to glean much information about the data (at least not without collusion among all parties to put back together all the shares). Thus, the parties may conspire to send all their processed results to a trusted third party (perhaps the data provider) at the conclusion of the computations, with only the trusted third party being able to view the final results. Secure multiparty computations for privacy-preserving machine-learning turn out to be possible using solely standard floating-point arithmetic, at least with a carefully controlled leakage of information less than the loss of accuracy due to roundoff, all backed by rigorous mathematical proofs of worst-case bounds on information loss and numerical stability in finite-precision arithmetic. Numerical examples illustrate the high performance attained on commodity off-the-shelf hardware for generalized linear models, including ordinary linear least-squares regression, binary and multinomial logistic regression, probit regression, and Poisson regression.

研究动机与目标

• 解决在敏感数据应用中传统安全措施（如密码）不足以保障隐私的隐私保护机器学习需求。
• 通过支持使用标准浮点数算术的高效、精确计算，克服基于整数的密码方法的局限性。
• 为有限精度算术中的安全多方计算提供信息泄露与数值稳定性的严格数学边界。
• 在无需专用优化的情况下，实现在通用硬件上对广义线性模型的安全多方计算的实际部署。
• 确保在诚实但好奇威胁模型下，中间计算过程保持私密，即使参与方好奇但正确遵循协议。

提出的方法

• 使用加法秘密共享将数据分发给多个参与方，确保任一参与方均无法重构原始数据。
• 采用Beaver的乘法协议，在秘密共享值的上下文中实现安全乘法。
• 应用多项式逼近方法，以可控误差实现广义线性模型中所需的非线性函数（如logit、softmax、exp）。
• 通过严格的数学分析控制信息泄露，表明泄露量小于双精度算术中的固有舍入误差。
• 使用小批量随机梯度下降进行模型训练，仅依赖基本操作（加法、矩阵-向量乘法及函数求值）。
• 利用连接函数的反函数（如逻辑函数、probit函数、指数函数）在安全计算流水线中高效计算梯度。

实验结果

研究问题

• RQ1 能否在不牺牲数值精度的前提下，使用标准浮点数算术高效实现机器学习的安全多方计算？
• RQ2 在有限精度算术中，安全计算期间最多可能泄露多少信息？是否可以严格界定？
• RQ3 如何在浮点数环境下，以最小误差安全地近似广义线性模型所需的非线性函数？
• RQ4 所提出的方案是否能在CPU和GPU等通用硬件上同时实现高性能与强隐私保障？
• RQ5 信息泄露程度与双精度浮点数算术中的固有舍入误差相比如何？

主要发现

• 每输入实数的信息泄露被严格限制在10⁻⁶比特以内，低于双精度算术中约10⁻⁵的典型舍入误差。
• 在约10⁻⁵的精度下，该方案实现了完美隐私，信息泄露量与数值误差相比可忽略不计。
• 对于一幅百万像素的图像，总信息泄露最多为1比特——不足以区分细节，仅能判断亮度。
• 该方法支持广泛的广义线性模型，包括线性最小二乘、逻辑回归、probit回归和泊松回归。
• 实现方案在通用CPU和GPU上表现出高性能，无需专用硬件或复杂优化。
• 该框架与标准机器学习流水线兼容，采用小批量随机梯度下降，并通过多项式逼近安全计算非线性连接函数。