[论文解读] Optimal Query Complexity of Secure Stochastic Convex Optimization

Wei Tang, Chien-Ju Ho+1 more|arXiv (Cornell University)|Apr 5, 2021

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出了一种用于随机凸优化的安全学习协议，可保护学习者隐私，防止敌手仅通过观察查询点获取信息。通过将均匀随机查询与分段域上的高效优化子程序相结合，该方法在对数因子范围内实现了最优查询复杂度，在准确性和隐私性之间实现了平衡，并在两种误差类型上提供了正式的PAC风格保证。

ABSTRACT

We study the secure stochastic convex optimization problem. A learner aims to learn the optimal point of a convex function through sequentially querying a (stochastic) gradient oracle. In the meantime, there exists an adversary who aims to free-ride and infer the learning outcome of the learner from observing the learner's queries. The adversary observes only the points of the queries but not the feedback from the oracle. The goal of the learner is to optimize the accuracy, i.e., obtaining an accurate estimate of the optimal point, while securing her privacy, i.e., making it difficult for the adversary to infer the optimal point. We formally quantify this tradeoff between learner's accuracy and privacy and characterize the lower and upper bounds on the learner's query complexity as a function of desired levels of accuracy and privacy. For the analysis of lower bounds, we provide a general template based on information theoretical analysis and then tailor the template to several families of problems, including stochastic convex optimization and (noisy) binary search. We also present a generic secure learning protocol that achieves the matching upper bound up to logarithmic factors.

研究动机与目标

• 正式刻画在敌手观察查询点的条件下，随机凸优化中学习者准确率与隐私之间的权衡。
• 利用PAC风格定义，刻画实现期望准确率与隐私水平所需的查询复杂度。
• 设计一种安全学习协议，其查询复杂度在对数因子范围内达到匹配的上界。
• 将信息论下界推广至更广泛的问题族，包括带噪声的二分搜索。
• 分析查询复杂度对隐私参数（特别是 $\delta^{\rm adv}$）的依赖关系，并表明其代表了隐私所必需的复杂度溢价。

提出的方法

• 开发了一般性信息论模板，用于推导凸优化问题的查询复杂度下界。
• 安全学习协议将区间 $[0,1]$ 划分为 $\lfloor 1/\delta^{\rm adv} \rfloor$ 个长度为 $\delta^{\rm adv}$ 的子区间，确保区间间的随机化。
• 在每个阶段，学习者在每个子区间内提交一个查询，其中一个查询通过非安全但高效的优化子程序进行更新。
• 协议将均匀随机查询（用于隐私）与自适应优化（用于准确度）相结合，确保对任何敌手策略均具有鲁棒性。
• 通过受Tsitsiklis等人启发的复制二分策略推导收敛速率，该策略已针对隐私性进行适配。
• 证明协议以高概率实现 $\tilde{\mathcal{O}}\big{(}(T\delta^{\rm adv})^{-\frac{\kappa}{2\kappa-2}}\big{)}$ 的函数误差和 $\tilde{\mathcal{O}}\big{(}(T\delta^{\rm adv})^{-\frac{1}{2\kappa-2}}\big{)}$ 的点误差。

实验结果

研究问题

• RQ1 在安全随机凸优化中，实现特定准确率与隐私水平所需的最少查询次数是多少？
• RQ2 查询复杂度如何随隐私参数 $\delta^{\rm adv}$ 和准确度 $\epsilon$ 变化？
• RQ3 是否可以使用单一信息论模板，同时推导凸优化与私有二分搜索问题的下界？
• RQ4 是否存在一种安全学习协议，其查询复杂度在对数因子范围内达到最优？
• RQ5 该安全协议如何在保持高优化准确度的同时维持隐私性？

主要发现

• 对于 $\kappa$-一致凸函数，函数误差的查询复杂度为 $\Theta\left(1/(\delta^{\rm adv} \epsilon^{(2\kappa-2)/\kappa})\right)$，其上下界在对数因子范围内匹配。
• 对于点误差，查询复杂度为 $\Theta\left(1/(\delta^{\rm adv} \epsilon^{2\kappa-2})\right)$，同样在对数因子范围内匹配上下界。
• 通过适用于随机凸优化与私有二分搜索问题的一般化信息论模板，扩展了下界分析。
• 安全学习协议实现了与下界相同的渐近查询复杂度，证明了所推导边界的紧致性。
• 该协议对任何敌手策略均保持隐私性，因为对 $\lfloor 1/\delta^{\rm adv} \rfloor$ 个区间的随机化可防止推断超出 $\epsilon^{\rm adv}$。
• 当 $\delta^{\rm adv} \to 1$ 时，结果恢复经典凸优化复杂度边界，表明隐私成本恰好为 $\Theta(1/\delta^{\rm adv})$。