[论文解读] Testing Cluster Structure of Graphs

Artur Czumaj, Pan Peng+1 more|arXiv (Cornell University)|Apr 13, 2015

Complexity and Algorithms in Graphs参考文献 42被引用 5

一句话总结

该论文提出了一种用于有界度图中聚类结构的亚线性时间属性测试器，采用基于导出率的定义来衡量聚类内部和外部的质量。其查询复杂度为 $\widetilde{O}(\sqrt{n} \cdot \textrm{poly}(\phi, k, 1/\varepsilon))$，在渐近意义下达到最优（忽略多对数因子），能够将 $(k,\phi)$-可聚类图与距离 $(k,\phi^*)$-可聚类性 $\varepsilon$ 远的图区分开来，其中 $\phi^* = \Omega_{d,k}(\phi^2 \varepsilon^4 / \log n)$。该方法利用随机游走分布比较和高阶Cheeger不等式。

ABSTRACT

We study the problem of recognizing the cluster structure of a graph in the framework of property testing in the bounded degree model. Given a parameter $\varepsilon$, a $d$-bounded degree graph is defined to be $(k, ϕ)$-clusterable, if it can be partitioned into no more than $k$ parts, such that the (inner) conductance of the induced subgraph on each part is at least $ϕ$ and the (outer) conductance of each part is at most $c_{d,k}\varepsilon^4ϕ^2$, where $c_{d,k}$ depends only on $d,k$. Our main result is a sublinear algorithm with the running time $\widetilde{O}(\sqrt{n}\cdot\mathrm{poly}(ϕ,k,1/\varepsilon))$ that takes as input a graph with maximum degree bounded by $d$, parameters $k$, $ϕ$, $\varepsilon$, and with probability at least $\frac23$, accepts the graph if it is $(k,ϕ)$-clusterable and rejects the graph if it is $\varepsilon$-far from $(k, ϕ^*)$-clusterable for $ϕ^* = c'_{d,k}\frac{ϕ^2 \varepsilon^4}{\log n}$, where $c'_{d,k}$ depends only on $d,k$. By the lower bound of $Ω(\sqrt{n})$ on the number of queries needed for testing graph expansion, which corresponds to $k=1$ in our problem, our algorithm is asymptotically optimal up to polylogarithmic factors.

研究动机与目标

• 开发一种属性测试器，能够在有界度图模型中，以亚线性时间区分 $k$-可聚类图与距离 $k$-可聚类性 $\varepsilon$ 远的图。
• 通过同时使用内部导出率和外部导出率，定义一种稳健的聚类可聚类性概念，以确保聚类内部高度连通且聚类间连接微弱。
• 实现亚线性查询复杂度，具体为 $\widetilde{O}(\sqrt{n} \cdot \textrm{poly}(\phi,k,1/\varepsilon))$，与图扩张测试的已知下界相匹配。
• 为在大规模网络中测试聚类结构提供一个框架，其中线性时间算法不可行。
• 探索距离 $k$-可聚类性 $\varepsilon$ 远的图的结构特性，旨在细化对这类图的表征。

提出的方法

• 该算法通过查询有界度图中邻居的预言机接口，实现对图局部结构的高效探索。
• 通过测试从采样顶点出发的随机游走分布之间的两两接近性，推断全局聚类结构。
• 该方法应用高阶Cheeger不等式，将谱性质与聚类质量相关联，尤其在导出率的语境下。
• 采用递归细化过程将顶点划分为聚类，确保内部导出率高且外部导出率低。
• 分析依赖于若干引理，用于限制在划分细化过程中被移除的边数，从而确保若划分失败，则图仍保持距离 $k$-可聚类性 $\varepsilon$ 远。
• 提出一种新的 $\varepsilon$-远图的表征方式，通过 $\phi^*$ 限制内部和外部导出率，其中 $\phi^* = \Omega_{d,k}(\phi^2 \varepsilon^4 / \log n)$。

实验结果

研究问题

• RQ1 能否在亚线性时间内，利用属性测试器将 $(k,\phi)$-可聚类图与距离 $(k,\phi^*)$-可聚类性 $\varepsilon$ 远的图区分开？
• RQ2 在有界度图中测试 $k$-可聚类性的最优查询复杂度是多少？是否能实现渐近最优？
• RQ3 如何通过同时使用内部和外部导出率，形式化基于导出率的聚类质量，以反映现实世界中的聚类结构？
• RQ4 当前测试器保证中 $\phi$ 与 $\phi^*$ 之间的差距是否接近最优？能否通过新方法进一步改进？
• RQ5 能否对距离 $k$-可聚类性 $\varepsilon$ 远的图的结构表征进行细化，以消除导出率界中对 $\varepsilon$ 的依赖？

主要发现

• 所提出的测试器运行时间为 $\widetilde{O}(\sqrt{n} \cdot \textrm{poly}(\phi, k, 1/\varepsilon))$，且以至少 $2/3$ 的概率正确接受 $(k,\phi)$-可聚类图。
• 该测试器能拒绝距离 $(k,\phi^*)$-可聚类性 $\varepsilon$ 远的图，其中 $\phi^* = \Omega_{d,k}(\phi^2 \varepsilon^4 / \log n)$，确保对微小扰动具有鲁棒性。
• 该算法在渐近意义下达到最优，忽略多对数因子，当 $k=1$ 时与图扩张测试的 $\Omega(\sqrt{n})$ 下界相匹配。
• 该方法利用高阶Cheeger不等式，将谱性质与聚类结构联系起来，从而实现对聚类质量的创新性分析。
• 分析表明，任何距离 $k$-可聚类性 $\varepsilon$ 远的图，必定包含一个大小至少为 $\Omega(\varepsilon^2 |V| / k^2)$ 的子集，其内部导出率较低，从而可被有效检测。
• 当前分析中 $\phi^*$ 边界内 $\log n$ 的依赖关系是紧致的，若要改进，需采用根本性的新方法。