[论文解读] Separating Adaptive Streaming from Oblivious Streaming

Haim Kaplan, Yishay Mansour+2 more|arXiv (Cornell University)|Jan 26, 2021

Adversarial Robustness in Machine Learning参考文献 25被引用 6

一句话总结

本文通过构建一个问题，首次实现了对抗性鲁棒流与无偏流之间的分离，其中对抗性鲁棒算法需要多项式空间，而无偏算法仅需多对数空间即可解决。该结果通过从自适应数据分析和密码学原语出发的归约，解决了对抗性流中一个核心开放问题。

ABSTRACT

We present a streaming problem for which every adversarially-robust streaming algorithm must use polynomial space, while there exists a classical (oblivious) streaming algorithm that uses only polylogarithmic space. This is the first separation between oblivious streaming and adversarially-robust streaming, and resolves one of the central open questions in adversarial robust streaming.

研究动机与目标

• 解决一个核心开放问题：对抗性鲁棒流算法是否本质上比无偏算法需要更多空间。
• 展示一个计算问题，其中对抗性鲁棒性强制要求使用多项式空间，尽管在无偏模型中存在高效解法。
• 通过自适应数据分析和私钥加密的归约，建立两个流模型之间的形式化分离。
• 表明两模型之间的差距并非仅理论上的，而是源于自适应性和状态依赖性的根本限制。

提出的方法

• 通过一个精心设计的流算法，将对抗性流问题归约为自适应数据分析（ADA）问题，该算法模拟在加密数据上的查询回答。
• 构建了一个流算法，分两个阶段处理更新：第一阶段插入私钥和数据点；第二阶段通过加密响应处理自适应查询。
• 使用次指数安全的私钥加密方案以确保语义安全，从而实现真实与模拟数据流之间的不可区分性。
• 引入一个区分者算法，模拟数据分析师与流算法之间的交互，将区分成功的概率与统计准确性关联起来。
• 在归约框架内利用自适应数据分析中已知的不可能性结果——具体而言，任何自然算法都无法准确回答 Ω(n²) 个自适应选择的查询。
• 证明：若存在一个使用多对数空间的对抗性鲁棒算法来解决 SADA2 问题，则会在标准密码学假设下与自适应数据分析中的已知下界矛盾。

实验结果

研究问题

• RQ1 对抗性鲁棒流与无偏流算法之间是否存在空间复杂度的根本差距？
• RQ2 能否设计一个问题，使得对抗性鲁棒算法需要多项式空间，而无偏算法仅使用多对数空间？
• RQ3 该分离的存在是否意味着在自适应数据分析约束下，鲁棒流算法设计存在局限性？
• RQ4 密码学原语是否可用于通过已知困难结果的归约，正式分离这两个模型？

主要发现

• 本文构建了一个流问题——(d,m,κ,γ)-SADA2 问题——其中每个对抗性鲁棒算法都必须使用关于 m 的多项式空间。
• 相比之下，存在一个无偏流算法，仅使用多对数空间和每次更新的多对数时间即可解决同一问题。
• 该分离结果依赖于次指数安全私钥加密方案的存在，这是密码学中的标准假设。
• 关键结果源于自适应数据分析的归约：若对抗性鲁棒算法能以多对数空间解决 SADA2 问题，则会违反自适应数据分析中的已知不可能性结果。
• 该归约表明，流算法回答的统计准确性与底层加密方案的安全性以及自适应选择查询的数量紧密相关。
• 该结果意味着，即使在非线性算法下，对抗性鲁棒性也无法在空间复杂度上‘免费获得’，且状态依赖性从根本上增加了内存需求。