[论文解读] Query Complexity of Bayesian Private Learning

Kuang Xu|arXiv (Cornell University)|Nov 15, 2019

Machine Learning and Algorithms被引用 13

一句话总结

本文在贝叶斯私有学习中建立了查询复杂度的紧下界，表明为实现 $\varepsilon$-精度并使攻击者估计误差在概率上不超过 $1/L$ 的情况下，限制为 $\delta$，学习者需要 $\Theta(L\log(1/\varepsilon))$ 次查询。该结果揭示了乘法隐私成本权衡，通过弗诺不等式和成比例采样攻击者估计器证明。

ABSTRACT

We study the query complexity of Bayesian Private Learning: a learner wishes to locate a random target within an interval by submitting queries, in the presence of an adversary who observes all of her queries but not the responses. How many queries are necessary and sufficient in order for the learner to accurately estimate the target, while simultaneously concealing the target from the adversary? Our main result is a query complexity lower bound that is tight up to the first order. We show that if the learner wants to estimate the target within an error of $\varepsilon$, while ensuring that no adversary estimator can achieve a constant additive error with probability greater than $1/L$, then the query complexity is on the order of $L\log(1/\varepsilon)$, as $\varepsilon o 0$. Our result demonstrates that increased privacy, as captured by $L$, comes at the expense of a {multiplicative} increase in query complexity. Our proof method builds on Fano's inequality and a family of proportional-sampling estimators. As an illustration of the method's wider applicability, we generalize the complexity lower bound to settings involving high-dimensional linear query learning and partial adversary observation.

研究动机与目标

• 量化主动学习在对抗性观测下的查询效率与隐私之间的权衡。
• 确定学习者为将目标估计误差控制在 $\varepsilon$ 以内，同时隐藏目标不被攻击者识别，所需的最少查询次数。
• 以 $L$ 衡量隐私成本，形式化并分析其对查询复杂度的增加影响。
• 开发并分析一类基于成比例采样构造的攻击者估计器，以建立紧下界。
• 将下界扩展至高维线性查询和部分攻击者观测设置。

提出的方法

• 形式化了贝叶斯私有学习模型，其中目标在 $[0,1)$ 上均匀分布，响应无噪声且为二值，学习者使用自适应查询。
• 以弗诺不等式作为核心信息论工具，推导查询复杂度的下界。
• 为攻击者引入一类成比例采样估计器，利用查询-响应模式中的动作-信息接近性。
• 通过分析该类估计器下攻击者的估计误差，构建下界，表明其成功概率被限制在 $1/L$ 以内。
• 通过适配成比例采样框架，将证明扩展至高维线性查询和部分攻击者观测情形。
• 通过与 Tsitsiklis 等人（2018）的现有上界比较，证明该下界是紧的。

实验结果

研究问题

• RQ1 学习者为将目标估计误差控制在 $\varepsilon$ 以内，同时确保攻击者无法以超过 $1/L$ 的概率将目标估计误差控制在 $\delta$ 以内，所需的最少查询次数是多少？
• RQ2 隐私参数 $L$ 如何影响贝叶斯私有学习中的查询复杂度？
• RQ3 基于成比例采样的攻击者估计器族能否在任意学习者策略下实现最优性能？
• RQ4 在高维或部分观测设置下，查询复杂度中对 $L$ 的乘法依赖关系是否依然成立？
• RQ5 噪声响应如何影响隐私-成本权衡？该下界能否扩展至噪声查询模型？

主要发现

• 当 $\varepsilon \to 0$ 时，查询复杂度的下界为 $\Omega(L\log(1/\varepsilon))$，且在第一阶意义上是紧的。
• 该下界与 Tsitsiklis 等人（2018）的上界一致，证实 $L\log(1/\varepsilon)$ 是查询复杂度的正确渐近量级。
• 隐私成本具有乘法性：增大 $L$（即降低攻击者成功概率）会使查询复杂度提高 $L$ 倍。
• 成比例采样估计器对攻击者具有可证明的有效性，当学习者查询次数少于 $L\log(1/\varepsilon)$ 时，可实现高估计精度。
• 该下界可扩展至高维线性查询模型和部分攻击者观测情形，但由于动作-信息接近性减弱，边界不再紧。
• 分析表明，更复杂的攻击者估计器（如对子立方体敏感度采用非线性加权）可能在复杂设置中缩小上下界之间的差距。