[论文解读] Oracle Efficient Private Non-Convex Optimization

Seth Neel, Aaron Roth+2 more|arXiv (Cornell University)|Sep 3, 2019

Blockchain Technology Applications and Security被引用 6

一句话总结

本文提出了两种针对非凸问题的、Oracle高效且差分私有的优化算法，将目标扰动方法扩展至非凸与非光滑设置。第一种方法适用于仅有有界损失的离散域，第二种方法适用于具有Lipschitz连续损失的连续域，两者均在无需凸性假设的前提下实现隐私保护，并在小样本设置下相比凸代理方法展现出更高的准确性。

ABSTRACT

One of the most effective algorithms for differentially private learning and optimization is objective perturbation. This technique augments a given optimization problem (e.g. deriving from an ERM problem) with a random linear term, and then exactly solves it. However, to date, analyses of this approach crucially rely on the convexity and smoothness of the objective function, limiting its generality. We give two algorithms that extend this approach substantially. The first algorithm requires nothing except boundedness of the loss function, and operates over a discrete domain. Its privacy and accuracy guarantees hold even without assuming convexity. This gives an oracle-efficient optimization algorithm over arbitrary discrete domains that is comparable in its generality to the exponential mechanism. The second algorithm operates over a continuous domain and requires only that the loss function be bounded and Lipschitz in its continuous parameter. Its privacy analysis does not require convexity. Its accuracy analysis does require convexity, but does not require second order conditions like smoothness. Even without convexity, this algorithm can be generically used as an oracle-efficient optimization algorithm, with accuracy evaluated empirically. We complement our theoretical results with an empirical evaluation of the non-convex case, in which we use an integer program solver as our optimization oracle. We find that for the problem of learning linear classifiers, directly optimizing for 0/1 loss using our approach can out-perform the more standard approach of privately optimizing a convex-surrogate loss function on the Adult dataset.

研究动机与目标

• 将差分私有优化从凸与光滑目标扩展至以往方法依赖强假设的场景。
• 为离散域设计一种Oracle高效算法，确保在无凸性与光滑性假设下的隐私与准确性。
• 为连续域设计一种算法，在仅要求损失函数Lipschitz连续的前提下提供隐私保障，并在凸性成立时保证准确性，无需二阶条件。
• 通过实验验证，在小样本设置下，对0/1损失的直接私有化优化优于对凸代理损失的私有化优化。
• 通过整数规划Oracle实现，证明该方法在真实私有学习场景中的实际可行性。

提出的方法

• 提出OPDisc：一种离散优化算法，通过添加随机线性项扰动目标函数，并利用混合整数规划（MIP）Oracle精确求解。
• 采用有界离散参数空间，施加ℓ₂范数约束，并对每个权重坐标使用离散网格。
• 提出一种新颖的隐私分析方法，基于敏感度与随机响应，即使在无凸性条件下依然有效。
• 提出连续域变体，仅需损失函数在参数上满足Lipschitz连续性，其隐私分析与凸性无关。
• 采用目标扰动方法，添加随机线性项后，通过连续优化Oracle求解扰动后的问题。
• 利用MIP公式实现Oracle，通过Gurobi求解，实现在Adult数据集上的实际部署。

实验结果

研究问题

• RQ1 能否在不依赖凸性或光滑性假设的前提下，将目标扰动方法扩展至非凸且有界损失的问题？
• RQ2 能否设计一种在仅具有1-敏感度的离散域上既Oracle高效又准确的差分私有优化算法？
• RQ3 在小样本设置下，对0/1损失的私有化优化是否优于对凸代理损失的私有化优化？
• RQ4 能否在不假设凸性的前提下，实现连续域上差分私有优化的隐私保障？
• RQ5 与私有逻辑回归相比，直接优化0/1损失的实证性能在准确率与运行时间方面如何？

主要发现

• 在Adult数据集上，OPDisc在低ε值下相比私有逻辑回归实现了显著更高的0/1分类准确率。
• OPDisc在准确率与方差方面均优于RSPM，在15次运行中始终表现出更低的误差。
• 该方法在无需凸性或光滑性假设的前提下实现隐私保护，仅依赖于损失函数的有界性与1-敏感度。
• 连续域算法在仅满足Lipschitz连续性条件下即提供隐私保障，无需二阶条件。
• 实证结果表明，在小样本设置下，对0/1损失的直接私有化优化可优于标准的凸代理方法。
• 运行时间因整数规划而有显著差异，但所有实例均在合理时间内成功求解。