[论文解读] Secure Approximation Guarantee for Cryptographically Private Empirical Risk Minimization

Toshiyuki Takada, Hiroyuki Hanada+3 more|arXiv (Cornell University)|Feb 15, 2016

Cryptography and Data Security参考文献 15被引用 6

一句话总结

本文提出安全近似保证（SAG）方法，一种密码学私密技术，可在安全多方计算（MPC）环境下对经验风险最小化（ERM）解的近似误差提供非概率性、无假设的边界。通过使用分段线性代理损失函数，SAG 实现了对真实解质量的紧密边界计算，而无需暴露私有数据，显著提升了隐私保护机器学习中的可靠性，尤其适用于逻辑回归等非线性模型。

ABSTRACT

Privacy concern has been increasingly important in many machine learning (ML) problems. We study empirical risk minimization (ERM) problems under secure multi-party computation (MPC) frameworks. Main technical tools for MPC have been developed based on cryptography. One of limitations in current cryptographically private ML is that it is computationally intractable to evaluate non-linear functions such as logarithmic functions or exponential functions. Therefore, for a class of ERM problems such as logistic regression in which non-linear function evaluations are required, one can only obtain approximate solutions. In this paper, we introduce a novel cryptographically private tool called secure approximation guarantee (SAG) method. The key property of SAG method is that, given an arbitrary approximate solution, it can provide a non-probabilistic assumption-free bound on the approximation quality under cryptographically secure computation framework. We demonstrate the benefit of the SAG method by applying it to several problems including a practical privacy-preserving data analysis task on genomic and clinical information.

研究动机与目标

• 解决密码学私密机器学习中缺乏可靠近似质量评估的问题，特别是针对逻辑回归等非线性模型。
• 克服在安全多方计算（MPC）下对非线性函数（如对数、指数）进行同态加密计算的不可行性。
• 提供一种实用且安全的方法，用于评估近似解与真实 ERM 解的接近程度，而无需依赖真实解的知识。
• 通过提供无假设、非概率性的边界，支持在隐私保护数据分析中实现可信决策，涵盖模型预测与系数的边界。

提出的方法

• 提出一种新颖的算法框架，使用一对代理损失函数，从下方和上方紧密包围原始非线性损失函数。
• 将代理损失函数实现为分段线性函数，使其在 MPC 下可被密码学安全计算。
• 通过评估使用这些代理函数得到的解空间上下界之差，构建对真实 ERM 解的安全近似边界。
• 确保边界在不解密的情况下计算完成，从而在整个过程中保持数据隐私。
• 设计该方法使其独立于真实解，从而在无需事先知道真实值的情况下，实现对近似解的实用验证。
• 将该方法应用于逻辑回归、泊松回归和指数回归问题，证明其通用性与可扩展性。

实验结果

研究问题

• RQ1 我们能否在密码学私密环境中，为 ERM 解的近似误差提供非概率性、无假设的边界？
• RQ2 当在 MPC 下计算非线性函数（如 logit 或指数函数）在计算上不可行时，如何安全地计算 ERM 问题真实解的边界？
• RQ3 所提出的 SAG 方法能否产生比现有概率方法（如 Nardi 等人，2015 年）更紧致、更可靠的边界？
• RQ4 SAG 方法在多大程度上能支持隐私保护机器学习中的实际决策，如患者分类或基因组与临床数据中显著特征的识别？
• RQ5 SAG 方法的计算成本如何随近似中使用的分段线性段数 $ K $ 的增加而变化？

主要发现

• SAG 方法为 ERM 解的近似误差提供了非概率性、无假设的边界，使用户无需访问真实解即可评估解的质量。
• 在逻辑回归实验中，当分段线性段数 $ K $ 从 100 增加到 1000 时，SAG 边界显著收紧，每实例耗时从 $ K=100 $ 时的 381.089 秒上升至 $ K=1000 $ 时的 3717.569 秒，表明计算成本接近线性增长。
• SAG 边界明显比 Nardi 等人方法中的概率边界更紧致，使更多验证实例可被有把握地分类为正类或负类（如图 1 中的绿色直方图所示）。
• 在泊松回归中，SAG 对预测种子数量的区间始终紧密，且包含真实值，证明了其在计数预测中的可靠性。
• 在生存时间预测的指数回归中，SAG 边界完全包封了真实生存概率曲线，证实了该方法的准确性和鲁棒性。
• 在真实世界基因组与临床数据分析任务中，SAG 方法成功识别出与疾病风险具有保证正相关或负相关的特征（基于边界跨越零点），即使在未知真实系数的情况下亦成立。