[论文解读] Practical Privacy-Preserving Gaussian Process Regression via Secret Sharing

Jinglong Luo, Yehong Zhang+5 more|arXiv (Cornell University)|Jun 26, 2023

Privacy-Preserving Technologies in DataComputer Science被引用 3

一句话总结

该论文提出了首个基于秘密共享（SS）的隐私保护高斯过程回归（PP-GPR）框架，支持水平和垂直数据共享场景。通过引入基于‘混淆-纠错’策略和Cholesky分解的新型SS-指数运算与矩阵求逆协议，该方法在理论安全保证下实现了安全、准确且高效的GPR，且在中等规模数据集上具备实际性能表现。

ABSTRACT

Gaussian process regression (GPR) is a non-parametric model that has been used in many real-world applications that involve sensitive personal data (e.g., healthcare, finance, etc.) from multiple data owners. To fully and securely exploit the value of different data sources, this paper proposes a privacy-preserving GPR method based on secret sharing (SS), a secure multi-party computation (SMPC) technique. In contrast to existing studies that protect the data privacy of GPR via homomorphic encryption, differential privacy, or federated learning, our proposed method is more practical and can be used to preserve the data privacy of both the model inputs and outputs for various data-sharing scenarios (e.g., horizontally/vertically-partitioned data). However, it is non-trivial to directly apply SS on the conventional GPR algorithm, as it includes some operations whose accuracy and/or efficiency have not been well-enhanced in the current SMPC protocol. To address this issue, we derive a new SS-based exponentiation operation through the idea of 'confusion-correction' and construct an SS-based matrix inversion algorithm based on Cholesky decomposition. More importantly, we theoretically analyze the communication cost and the security of the proposed SS-based operations. Empirical results show that our proposed method can achieve reasonable accuracy and efficiency under the premise of preserving data privacy.

研究动机与目标

• 为解决多数据共享场景（水平、垂直、预测）下缺乏统一且实用的隐私保护高斯过程回归解决方案的问题。
• 克服现有基于同态加密、联邦学习或差分隐私的PP-GPR方法的局限性，这些方法或效率低下，或仅适用于特定场景，或缺乏强安全保证。
• 设计高效且准确的秘密共享协议，用于高斯过程回归中两个关键操作——矩阵求逆与指数运算，这些操作在当前SMPC框架中支持不足。
• 确保在所有三种数据共享场景下，包括与不可信客户端进行预测时，对模型输入和输出实现端到端的隐私保护。

提出的方法

• 提出一种基于秘密共享的新型指数运算协议，采用‘混淆-纠错’策略，以提升安全多方计算（SMPC）中的准确性和效率。
• 设计一种基于Cholesky分解的秘密共享矩阵求逆算法，实现高斯过程回归中协方差矩阵求逆的安全且高效的计算。
• 将新设计的运算原语与现有的SMPC原语（如安全加法、乘法）集成，构建完整的、端到端的隐私保护GPR流水线，支持模型训练与推理。
• 采用双服务器SMPC模型，确保信息论安全，并通过秘密共享最小化泄露。
• 理论分析证明了所提协议在标准假设下的安全性，并推导出通信与计算复杂度的上界。
• 采用预处理技术以减少在线阶段的通信与计算开销，提升实用性。

实验结果

研究问题

• RQ1 秘密共享能否被有效应用于高斯过程回归，以在多种数据共享场景下保护输入和输出数据的隐私？
• RQ2 在SMPC中，如何高效且准确地实现基于秘密共享的矩阵求逆与指数运算——这两个GPR中的核心操作？
• RQ3 所提出的PP-GPR框架的通信与计算开销如何？是否能在中等规模数据集上实现实际效率？
• RQ4 与FHE、FL及DP-based GPR等现有方法相比，该方法在准确性和隐私保障方面表现如何？

主要发现

• 所提出的PP-GPR框架支持所有三种数据共享场景：水平、垂直和预测共享，且提供端到端隐私保护。
• 基于秘密共享的指数运算协议在准确性上优于基于近似的方法（如牛顿-拉夫森法），且相比先前工作，错误率显著降低（先前工作失败率高达25%）。
• 基于Cholesky分解的矩阵求逆协议确保了数值稳定性与高效性，支持安全的GPR计算。
• 实验评估表明，该方法在中等规模样本数据集上实现了合理的准确性（与非私有的GPR相当）和可接受的效率。
• 理论分析证实了协议在标准假设下的安全性，且通信与计算成本有界。
• 在安全保证与通用性方面，该框架优于现有方法，尤其在涉及多个数据拥有者且数据分区不同的场景中表现更优。