[论文解读] Private Sequential Learning

John N. Tsitsiklis, Kuang Xu+1 more|arXiv (Cornell University)|May 6, 2018

Privacy-Preserving Technologies in Data参考文献 21被引用 11

一句话总结

本文提出了一种私有的序列学习模型，其中学习者通过查询二元预言机来估计标量值 $v^*$，同时最小化对仅观察查询的对手的信息泄露。该文建立了查询复杂度的紧致界限，表明实现隐私需要相对于准确度和隐私水平呈线性增加的查询量，且最优策略可达到近乎最小的查询次数，仅相差一个常数项。

ABSTRACT

We formulate a private learning model to study an intrinsic tradeoff between privacy and query complexity in sequential learning. Our model involves a learner who aims to determine a scalar value, $v^*$, by sequentially querying an external database and receiving binary responses. In the meantime, an adversary observes the learner's queries, though not the responses, and tries to infer from them the value of $v^*$. The objective of the learner is to obtain an accurate estimate of $v^*$ using only a small number of queries, while simultaneously protecting her privacy by making $v^*$ provably difficult to learn for the adversary. Our main results provide tight upper and lower bounds on the learner's query complexity as a function of desired levels of privacy and estimation accuracy. We also construct explicit query strategies whose complexity is optimal up to an additive constant.

研究动机与目标

• 正式化在序列学习中查询复杂度与隐私之间的权衡，其中对手可观察查询但无法获取响应。
• 将隐私建模为对手从学习者的查询序列中估计真实值 $v^*$ 的难度。
• 推导出实现期望隐私水平与估计准确度所需查询次数的紧致上下界。
• 构造显式的查询策略，其查询复杂度在相差一个加法常数的意义上为最优。
• 探讨现有策略在极端准确度需求下的实际局限性，并推动更精细的隐私形式化。

提出的方法

• 学习者使用序列查询访问二元预言机，该预言机若 $v^* \geq q_k$ 则返回 1，否则返回 0，且根据历史响应自适应调整查询。
• 通过信息集的概念形式化隐私——即与观察到的查询序列一致的值的集合，若该集合无法用少于 $L$ 个大小为 $\delta$ 的区间覆盖，则隐私得以保证。
• 通过分析确保信息集无法用少于 $L$ 个大小为 $\delta$ 的区间覆盖所需的最少查询数，推导出查询复杂度的下界，采用对查询序列的组合论证。
• 提出一种机会性二分法策略，通过自适应缩小搜索区间，同时通过保持信息集的大小和复杂性来维持隐私。
• 对一个位于 $x=1$ 的人工查询进行精细化分析，通过减去 1 来调整下界，以反映该查询属于主策略之外。
• 将模型扩展至高维空间及噪声或实值响应，提出未来研究方向。

实验结果

研究问题

• RQ1 学习者为将 $v^*$ 的估计误差控制在 $\epsilon$ 以内，同时使对手难以推断 $v^*$，至少需要进行多少次查询？
• RQ2 所需查询复杂度如何随期望隐私水平（以覆盖信息集所需的 $\delta$-区间数量 $L$ 衡量）而变化？
• RQ3 能否构造一种查询策略，使其在确保强隐私保障的同时，实现接近最优的查询复杂度？
• RQ4 在高准确度需求（$\epsilon \to 0$）下，标准二分法策略在隐私约束下的性能如何退化？
• RQ5 是否存在其他隐私形式化方法（如贝叶斯、置信度基础）可在现实假设下产生更实用的策略？

主要发现

• 实现隐私所需的查询复杂度至少为 $\log(\delta/\epsilon) + 2L - 4$ 次查询，建立了紧致下界。
• 显式查询策略可在 $\log(1/L\epsilon) + 2L$ 次查询内实现隐私，与下界仅相差一个加法常数。
• 隐私水平 $L$ 的提升导致查询复杂度呈线性加法增加，表明隐私与效率之间存在直接权衡。
• 机会性二分法策略在高精度极限（$\epsilon \to 0$）下表现不佳，因为真实值位于猜测区间的概率趋于零。
• 建议采用一种精细化的贝叶斯形式化，其中隐私定义为在置信度阈值 $\xi$ 以上保持正概率，从而导出新型策略设计，如复制二分法。
• 该模型表明，标准的查询高效算法通常无法提供隐私保护，从而凸显了系统性设计私有且样本高效策略的必要性。