[论文解读] Optimal query complexity for private sequential learning against eavesdropping

Jiaming Xu, Kuang Xu+1 more|arXiv (Cornell University)|Sep 21, 2019

Privacy-Preserving Technologies in Data参考文献 50被引用 12

一句话总结

本文建立了私有序列学习中最优查询复杂度的紧致上下界，其中学习者通过二元查询估计 [0,1] 区间内的未知标量，同时防止窃听者在 δ/2 误差范围内推断出该值。作者提出了一种新颖的查询策略，将学习过程划分为纯粹学习与混淆两个独立阶段，在所有参数配置下均实现了近乎最优的复杂度，并进一步扩展至噪声响应和高维情形。

ABSTRACT

We study the query complexity of a learner-private sequential learning problem, motivated by the privacy and security concerns due to eavesdropping that arise in practical applications such as pricing and Federated Learning. A learner tries to estimate an unknown scalar value, by sequentially querying an external database and receiving binary responses; meanwhile, a third-party adversary observes the learner's queries but not the responses. The learner's goal is to design a querying strategy with the minimum number of queries (optimal query complexity) so that she can accurately estimate the true value, while the eavesdropping adversary even with the complete knowledge of her querying strategy cannot. We develop new querying strategies and analytical techniques and use them to prove tight upper and lower bounds on the optimal query complexity. The bounds almost match across the entire parameter range, substantially improving upon existing results. We thus obtain a complete picture of the optimal query complexity as a function of the estimation accuracy and the desired levels of privacy. We also extend the results to sequential learning models in higher dimensions, and where the binary responses are noisy. Our analysis leverages a crucial insight into the nature of private learning problem, which suggests that the query trajectory of an optimal learner can be divided into distinct phases that focus on pure learning versus learning and obfuscation, respectively.

研究动机与目标

• 填补交互式学习系统中学习者隐私保护的空白，其中查询可能被攻击者窃听。
• 构建一个私有序列学习模型，要求学习者以最少查询次数估计未知标量，同时确保攻击者以超过 1/L 的概率无法在 δ/2 误差范围内估计该值。
• 完整刻画最优查询复杂度作为估计精度 ε 和隐私水平 L 的函数。
• 将分析扩展至高维情形与噪声二元响应，捕捉联邦学习等实际应用中的约束条件。
• 开发新的分析技术，证明近乎匹配的上下界，解决一个基本的隐私-复杂度权衡问题。

提出的方法

• 设计一种查询策略，将学习过程划分为两个阶段：一个专注于纯粹学习，另一个专注于混淆以保护隐私。
• 利用对称性与贝叶斯推理，通过比较两个对称假设 X*=x 与 X*=2mj−x 下的似然性，推导出攻击者估计误差的下界。
• 应用巴氏系数（Bhattacharyya coefficient）以界定任意检验在两个假设之间的最小错误概率，利用响应似然性的差异。
• 运用詹森不等式（Jensen’s inequality），将关键区间内预期查询次数与估计误差概率的对数衰减联系起来。
• 通过分析在大小为 δ/2 的子区间内、在隐私与精度约束下条件期望的查询次数，推导出查询复杂度的递归界。
• 通过引入参数为 p 的伯努利噪声模型，将框架扩展至噪声响应情形，并证明界值随 c₁(p) 变化，c₁(p) 为噪声水平的函数。

实验结果

研究问题

• RQ1 在贝叶斯与确定性设定下，给定精度 ε 与隐私水平 L，学习者私有序列学习的最优查询复杂度是多少？
• RQ2 当攻击者失败概率至少为 1−1/L 时，查询复杂度如何随 ε 与 δ 变化？
• RQ3 查询策略能否分解为学习与混淆两个独立阶段？该分解是否能实现最优复杂度？
• RQ4 噪声响应的存在如何影响查询复杂度？能否建立依赖于噪声参数 p 的紧致界？
• RQ5 在具有二元反馈的序列学习中，查询效率与隐私之间的根本权衡是什么？

主要发现

• 本文在全部参数范围内建立了近乎匹配的上下界，将最优复杂度确定至常数因子内。
• 在无噪声情形下，最优查询复杂度为 Θ(L log(1/ε))，当 δ ≥ 4ε 时，显示出对精度的对数依赖与对隐私水平 L 的线性增长。
• 在噪声响应模型中，界值仅相差一个依赖于噪声参数 p 的乘法常数，与非私有序列搜索结果一致。
• 分析表明，最优策略自然地划分为两个阶段：一个用于精确学习，另一个用于混淆，这对实现隐私至关重要。
• 下界推导采用对称性论证与巴氏系数，表明任何攻击者的误差概率下界为 ρ²/4，其中 ρ 依赖于对称区间内查询重叠程度。
• 最终界表明 n ≥ (L / (2c₁(p))) log(M/8)，其中 M 为可能取值的数量，证实隐私对查询效率施加了根本性代价。