[论文解读] Noninteractive Locally Private Learning of Linear Models via Polynomial Approximations

Di Wang, Adam Smith+1 more|arXiv (Cornell University)|Dec 17, 2018

Privacy-Preserving Technologies in Data被引用 13

一句话总结

该论文提出了一种非交互式局部差分隐私算法，通过多项式逼近内积来学习线性模型，实现了广义线性损失（如合页损失和逻辑回归）下样本复杂度在维度 $p$ 上的线性依赖——这是首个针对非光滑损失且具有最优 $p$-依赖性的结果。

ABSTRACT

Minimizing a convex risk function is the main step in many basic learning algorithms. We study protocols for convex optimization which provably leak very little about the individual data points that constitute the loss function. Specifically, we consider differentially private algorithms that operate in the local model, where each data record is stored on a separate user device and randomization is performed locally by those devices. We give new protocols for \emph{noninteractive} LDP convex optimization---i.e., protocols that require only a single randomized report from each user to an untrusted aggregator. We study our algorithms' performance with respect to expected loss---either over the data set at hand (empirical risk) or a larger population from which our data set is assumed to be drawn. Our error bounds depend on the form of individuals' contribution to the expected loss. For the case of \emph{generalized linear losses} (such as hinge and logistic losses), we give an LDP algorithm whose sample complexity is only linear in the dimensionality $p$ and quasipolynomial in other terms (the privacy parameters $ε$ and $δ$, and the desired excess risk $α$). This is the first algorithm for nonsmooth losses with sub-exponential dependence on $p$. For the Euclidean median problem, where the loss is given by the Euclidean distance to a given data point, we give a protocol whose sample complexity grows quasipolynomially in $p$. This is the first protocol with sub-exponential dependence on $p$ for a loss that is not a generalized linear loss . Our result for the hinge loss is based on a technique, dubbed polynomial of inner product approximation, which may be applicable to other problems. Our results for generalized linear losses and the Euclidean median are based on new reductions to the case of hinge loss.

研究动机与目标

• 解决在非交互式局部差分隐私（LDP）模型中最小化经验风险和总体风险的挑战。
• 克服先前 LDP 协议在样本复杂度较差或需要交互轮次方面的局限性。
• 开发一种方法，实现在保持强隐私保证的同时，高效地进行非交互式线性模型学习。
• 为广义线性损失（包括合页损失等非光滑情形）实现最优或近似最优的样本复杂度。
• 提供一个适用于 LDP 设置下广泛类别的凸 1-Lipschitz 损失函数的一般性框架。

提出的方法

• 提出一种新颖技术，称为‘内积多项式逼近’，利用低次多项式逼近损失函数 $f(y\langle w,x\rangle)$。
• 构建一个代理函数 $F_\beta(\theta)$，其对原始损失函数 $f(\theta)$ 的逼近误差为 $O(\beta)$，同时具有 $O(1/\beta)$-光滑性和 $O(1)$-Lipschitz 性质。
• 使用随机响应和噪声注入技术，从每个用户处私密地计算内积 $\langle w,x_i \rangle$ 的多项式矩。
• 通过函数逼近，将广义线性损失问题约化为合页损失情形，从而复用多项式逼近框架。
• 设计一种非交互式协议，每个用户仅向聚合器发送一条随机化报告，避免迭代通信。
• 利用集中极限不等式和方差界，确保代理函数的估计梯度以高概率收敛至真实梯度。

实验结果

研究问题

• RQ1 我们能否为非光滑损失设计一种非交互式 LDP 协议，使得样本复杂度在维度 $p$ 上呈线性依赖？
• RQ2 内积的多项式逼近是否能实现广义线性模型在本地模型下的高效且私密估计？
• RQ3 能否将广义线性损失的样本复杂度改进为对 $p$ 呈线性依赖，同时保持差分隐私？
• RQ4 在非交互式 LDP 协议中，隐私参数 ($\epsilon, \delta$)、额外风险 ($\alpha$) 和样本复杂度之间的权衡是什么？
• RQ5 该框架是否可扩展至非 $f(y\langle w,x\rangle)$ 形式的损失函数，例如线性回归或 $\ell_1$ 回归？

主要发现

• 所提算法对广义线性损失的样本复杂度为 $\tilde{O}(p \cdot \epsilon^{-4d-4} \cdot d^{6d} C^d)$，在维度 $p$ 上呈线性依赖。
• 对于合页损失，该方法在样本复杂度对 $p$ 线性、对 $\epsilon$、$\delta$ 和 $\alpha$ 指数依赖的情况下，实现了额外风险 $\alpha$。
• 关键创新——内积的多项式逼近——使得无需使用指数级网格点即可实现非交互式协议。
• 该方法通过函数逼近，将广义线性模型的私密 ERM 问题约化为合页损失情形。
• 私密梯度估计器的方差被界为 $\tilde{O}(d^{6d} C^d p / \epsilon^{4d+4})$，在弱假设下确保收敛性。
• 该框架是首个在非交互式 LDP 模型中实现非光滑广义线性损失下 $p$ 线性样本复杂度的框架。