[论文解读] The Power of an Example: Hidden Set Size Approximation Using Group Queries and Conditional Sampling

Dana Ron, Gilad Tsur|arXiv (Cornell University)|Apr 20, 2014

Machine Learning and Algorithms参考文献 9被引用 4

一句话总结

本文研究在已知全集 $ U $ 中，通过两类查询——群查询（判断 $ S \cap T \neq \emptyset $）和条件采样（若非空则返回 $ S \cap T $ 中的均匀随机元素）——对未知子集 $ S $ 的大小进行近似的问题。研究为自适应与非自适应算法建立了查询复杂度的紧致界，表明条件采样在结构化场景（如区间查询）中相较于群查询具有显著优势。

ABSTRACT

We study a basic problem of approximating the size of an unknown set $S$ in a known universe $U$. We consider two versions of the problem. In both versions the algorithm can specify subsets $T\subseteq U$. In the first version, which we refer to as the group query or subset query version, the algorithm is told whether $T\cap S$ is non-empty. In the second version, which we refer to as the subset sampling version, if $T\cap S$ is non-empty, then the algorithm receives a uniformly selected element from $T\cap S$. We study the difference between these two versions under different conditions on the subsets that the algorithm may query/sample, and in both the case that the algorithm is adaptive and the case where it is non-adaptive. In particular we focus on a natural family of allowed subsets, which correspond to intervals, as well as variants of this family.

研究动机与目标

• 研究群查询与条件采样在近似未知子集 $ S \subseteq U $ 大小方面的相对能力。
• 分析在对可查询或可采样子集 $ T \subseteq U $ 施加不同约束条件下，近似 $ |S| $ 的查询复杂度。
• 比较自适应与非自适应算法在两种查询模型下的效率与查询次数。
• 为以高概率实现 $ (1+\epsilon) $-近似所必需的查询/采样次数，建立紧致的上下界。
• 探讨查询集的结构约束（如区间或哈希函数定义的族）对集合大小近似效率的影响。

提出的方法

• 提出两种查询模型：群查询（对 $ S \cap T \neq \emptyset $ 给出二值回答）和条件采样（若非空则返回 $ S \cap T $ 中的均匀随机元素）。
• 设计一种非自适应算法，使用一系列随机子集 $ R^j_i $，其包含概率为 $ 1/e_{\log n - i} $，并将 $ \widehat{p}_i $ 估计为负响应的比例。
• 采用两阶段自适应算法：首先通过指数间隔的阈值进行粗略搜索，以定位满足 $ e_{2^{\ell^*}} \approx w $ 的 $ \ell^* $，然后通过二分查找精炼估计。
• 运用统计估计技术控制 $ \widehat{p}_i $ 的误差，通过切尔诺夫不等式确保集中性，并保持对失败概率的对数依赖。
• 通过在大小分别为 $ 2^i $ 和 $ 2^{i+1} $ 的集合对 $ (S_1, S_2) $ 上定义分布，利用有限查询下的不可区分性证明下界。
• 通过调整阈值 $ e_i $ 和置信区间，将分析适配至 $ \epsilon < 1 $ 的情形，以在每轮查询中保持 $ O(\log(1/\delta)/\epsilon^2) $ 个样本，从而维持 $ (1+\epsilon) $-近似。

实验结果

研究问题

• RQ1 条件采样在近似未知集合大小方面相较于群查询的性能如何？
• RQ2 在自适应与非自适应设置下，实现 $ (1+\epsilon) $-近似所需查询/采样的最优数量是多少？
• RQ3 对查询集施加结构约束（如区间或基于哈希的族）如何影响集合大小近似的查询复杂度？
• RQ4 在相同查询模型下，非自适应算法能否实现与自适应算法相当的效率？
• RQ5 在信息论层面，准确进行集合大小近似所需的最少查询数的极限（下界）是什么？

主要发现

• 对于所有子集的完整族，本文建立了条件采样在 $ \tilde{O}(\sqrt{w}/\epsilon^2) $ 查询内的上界，该界在对数因子内是紧致的。
• 在非自适应设置下使用区间查询时，本文在特定条件下实现了 $ \tilde{O}(\log \log n / \epsilon^2) $ 的查询复杂度，且与 $ w $ 无关。
• 本文证明了非自适应算法使用区间查询的 $ \Omega(\log \log n) $ 下界，表明上界近乎最优。
• 对于使用区间查询的自适应算法，本文实现了 $ \tilde{O}(\log \log w / \epsilon^2) $ 的查询复杂度，该复杂度在对数因子内是最优的。
• 条件采样相较于群查询具有显著优势：群查询需 $ \Omega(\sqrt{w}) $ 次查询才能近似 $ w $，而条件采样可将该值降低至 $ \tilde{O}(\sqrt{w}/\epsilon^2) $，且 $ \epsilon $ 的依赖关系为多项式。
• 本文表明，当 $ w > n/w $ 时，非自适应算法可通过从 $ w = n $ 开始并逐步降低假设，实现 $ \tilde{O}(\log w / \epsilon^2) $ 的复杂度，从而在稀疏区域提升效率。