[论文解读] On Learning Graphs with Edge-Detecting Queries

Hasan Abasi, Nader H. Bshouty|arXiv (Cornell University)|Mar 28, 2018

Machine Learning and Algorithms参考文献 9被引用 7

一句话总结

本文提出了用于通过边检测查询学习未知图的新型随机化算法，其中每次查询可检测某组顶点中是否至少包含一条边。该工作解决了两个开放问题：即使在边数 $m$ 未知的情况下，仍能实现 $O(m\log n)$ 次查询；以及在不增加查询复杂度的前提下，将轮数减少至 $O(\log^* n)$。其主要贡献是设计了一种 $O(\log^* n)$ 轮的拉斯维加斯算法，实现了最优的查询次数。

ABSTRACT

We consider the problem of learning a general graph $G=(V,E)$ using edge-detecting queries, where the number of vertices $|V|=n$ is given to the learner. The information theoretic lower bound gives $m\log n$ for the number of queries, where $m=|E|$ is the number of edges. In case the number of edges $m$ is also given to the learner, Angluin-Chen's Las Vegas algorithm \cite{AC08} runs in $4$ rounds and detects the edges in $O(m\log n)$ queries. In the other harder case where the number of edges $m$ is unknown, their algorithm runs in $5$ rounds and asks $O(m\log n+\sqrt{m}\log^2 n)$ queries. There have been two open problems: \emph{(i)} can the number of queries be reduced to $O(m\log n)$ in the second case, and, \emph{(ii)} can the number of rounds be reduced without substantially increasing the number of queries (in both cases). For the first open problem (when $m$ is unknown) we give two algorithms. The first is an $O(1)$-round Las Vegas algorithm that asks $m\log n+\sqrt{m}(\log^{[k]}n)\log n$ queries for any constant $k$ where $\log^{[k]}n=\log \stackrel{k}{\cdots} \log n$. The second is an $O(\log^*n)$-round Las Vegas algorithm that asks $O(m\log n)$ queries. This solves the first open problem for any practical $n$, for example, $n<2^{65536}$. We also show that no deterministic algorithm can solve this problem in a constant number of rounds. To solve the second problem we study the case when $m$ is known. We first show that any non-adaptive Monte Carlo algorithm (one-round) must ask at least $Ω(m^2\log n)$ queries, and any two-round Las Vegas algorithm must ask at least $m^{4/3-o(1)}\log n$ queries on average. We then give two two-round Monte Carlo algorithms, the first asks $O(m^{4/3}\log n)$ queries for any $n$ and $m$, and the second asks $O(m\log n)$ queries when $n>2^m$. Finally, we give a $3$-round Monte Carlo algorithm that asks $O(m\log n)$ queries for any $n$ and $m$.

研究动机与目标

• 解决在边检测查询图学习中，当边数 $m$ 未知时，将查询复杂度降低至 $O(m\log n)$ 的开放问题。
• 在不显著增加查询次数的前提下，减少图学习算法的轮数，尤其针对 $m$ 未知的情况。
• 在蒙特卡洛和拉斯维加斯模型下，为非自适应和两轮算法建立查询复杂度的紧致下界。
• 设计高效算法，实现在最少轮数内达到最优或近似最优的查询复杂度，尤其适用于 $n < 2^{65536}$ 的实际场景。

提出的方法

• 提出一种 $k$-轮拉斯维加斯算法，通过 $\log^{[k]}n$ 层对数嵌套实现迭代度估计，以控制边检测中的误差，实现 $m\log n + \sqrt{m}(\log^{[k]}n)\log n$ 次查询。
• 设计一种 $\log^* n$ 轮算法，利用 $p$-随机查询以高概率估计顶点度数，并借助集中不等式高效识别非边。
• 采用 $p$-随机查询策略，其中 $p$ 根据估计的度数自适应选择，以最大化每次查询中检测到非边的概率。
• 利用独立集与邻域分析来界定检测非边的成功概率，确保对每个顶点 $u$，$O(d_u \log n)$ 次查询足以完成检测。
• 应用分层查询策略，以递减的概率 $p$ 生成查询，以平衡覆盖范围与检测效率。
• 证明了不存在能在常数轮内解决该问题的确定性算法，从而确立了确定性方法的根本局限性。

实验结果

研究问题

• RQ1 当边数 $m$ 未知时，能否将查询复杂度降低至 $O(m\log n)$，以匹配信息论下界？
• RQ2 在 $m$ 未知的设定下，能否将轮数减少至 $O(\log^* n)$，同时保持 $O(m\log n)$ 的查询复杂度？
• RQ3 当 $m$ 已知时，两轮蒙特卡洛和拉斯维加斯算法的查询复杂度是否存在紧致下界？
• RQ4 是否存在一种常数轮的确定性算法，能够以 $O(m\log n)$ 次查询完成边检测查询下的图学习？

主要发现

• 一种 $O(\log^* n)$ 轮的拉斯维加斯算法在 $m$ 未知时实现了 $O(m\log n)$ 次查询，解决了所有实际场景中 $n < 2^{65536}$ 的第一个开放问题。
• 对于任意常数 $k$，$k$-轮拉斯维加斯算法实现了 $m\log n + \sqrt{m}(\log^{[k]}n)\log n$ 次查询，优于先前的 $O(m\log n + \sqrt{m}\log^2 n)$ 上界。
• 不存在能在常数轮内解决该问题的确定性算法，从而确立了确定性方法的根本局限性。
• 当 $m$ 已知时，任何非自适应蒙特卡洛算法必须进行 $\Omega(m^2\log n)$ 次查询，而任何两轮拉斯维加斯算法平均必须进行 $m^{4/3-o(1)}\log n$ 次查询。
• 三轮蒙特卡洛算法对任意 $n$ 和 $m$ 实现了 $O(m\log n)$ 次查询，而两轮蒙特卡洛算法对所有 $n$ 和 $m$ 实现了 $O(m^{4/3}\log n)$ 次查询。
• 当 $n > 2^m$ 时，两轮蒙特卡洛算法实现了 $O(m\log n)$ 次查询，表明在某些参数条件下查询复杂度可达到最优。