[论文解读] Revisiting the Challenges of MaxClique

Raffaele Marino, Scott Kirkpatrick|arXiv (Cornell University)|Jul 24, 2018

Constraint Satisfaction and Optimization参考文献 28被引用 3

一句话总结

本文通过概率分析与算法测试，重新研究了 Erdős-Rényi 随机图中的 MaxClique 问题，表明带有早期停止的贪心局部搜索可在实际规模下解决至 $ N = 10^{10} $ 的实例，超越了动态相变边界。谱方法与信念传播方法分别能检测到大小为 $ 1.0 $ 和 $ \tilde{\frac{1}{\sqrt[4]{e}}} $ 的植入团，而贪心搜索在大规模问题上表现优于它们。

ABSTRACT

The MaxClique problem, finding the largest complete subgraph in an Erd{ö}s-R{é}nyi $G(N,p)$ random graph in the large $N$ limit, is a well-known example of a simple problem for which finding any approximate solution within a factor of $2$ of the known, probabilistically determined limit, appears to require P$=$NP. This type of search has practical importance in very large graphs. Algorithmic approaches run into phase boundaries long before they reach the size of the largest likely solutions. And, most intriguing, there is an extensive literature of extit{challenges} posed for concrete methods of finding maximum naturally occurring as well as artificially hidden cliques, with computational costs that are at most polynomial in the size of the problem. We use the probabilistic approach in a novel way to provide a more insightful test of constructive algorithms for this problem. We show that extensions of existing methods of greedy local search will be able to meet the extit{challenges} for practical problems of size $N$ as large as $10^{10}$ and perhaps more. Experiments with spectral methods that treat a single large clique of size $αN^{1/2}$ extit{planted} in the graph as an impurity level in a tight binding energy band show that such a clique can be detected when $α\geq \approx1.0$. Belief propagation using a recent extit{approximate message passing} ( extbf{AMP}) scheme of inference pushes this limit down to $α\sim \sqrt{1/e}$. Exhaustive local search (with early stopping when the planted clique is found) does even better on problems of practical size, and proves to be the fastest solution method for this problem.

研究动机与目标

• 评估构造性算法在大尺寸有限随机图中 MaxClique 问题上的性能，超越渐近极限。
• 测试现有算法是否能克服限制贪心搜索在 $ K \approx \log_2 N $ 处的动态相变边界。
• 评估利用提示、谱方法与信念传播检测并重构隐藏团的可行性。
• 提出更适合现代数据规模的有限尺寸 MaxClique 挑战，而非渐近尺度。
• 证明简单贪心算法结合早期停止可在实际问题规模上优于 AMP 等高级方法。

提出的方法

• 使用有限尺寸标度分析，将不同 $ N $ 下团不可扩展概率的曲线归一化，揭示在 $ K / \log_2 N $ 处存在统一形式。
• 采用概率框架估算大小为 $ K $ 的团的期望数量，使用 $ \mathbb{E}(K) = \binom{N}{K} 2^{-\binom{K}{2}} $，并推导出渐近最大团大小为 $ R(N) = 2\log_2 N - 2\log_2\log_2 N + 2\log_2 e/2 + 1 $。
• 采用贪心局部搜索算法，通过迭代选择邻居扩展团，每步将前沿减半，并在无法进一步扩展时停止。
• 提出一种改进的贪心算法 $ SM^i $，利用朴素搜索定义更小的子图以进行高阶搜索，提升效率。
• 应用谱方法通过分析邻接矩阵的最大特征值，检测大小为 $ \alpha N^{1/2} $ 的植入团。
• 使用近似消息传递（AMP）通过信念传播推断团成员身份，将检测阈值降低至 $ \alpha \sim \sqrt{1/e} $。
• 在提供提示时，于穷举局部搜索中引入早期停止，以快速识别植入团。

实验结果

研究问题

• RQ1 带有早期停止的贪心局部搜索能否克服动态相变边界，在大尺寸有限图中找到超过 $ \log_2 N $ 的团？
• RQ2 谱方法在多大程度上可检测大小为 $ \alpha N^{1/2} $ 的植入团？可靠检测的最小 $ \alpha $ 是多少？
• RQ3 使用 AMP 的信念传播能否在谱方法阈值以下检测到植入团？$ \alpha $ 最低可降至何值？
• RQ4 单个提示是否足以以可接受的成本重构大小为 $ \epsilon \sqrt{N} $ 的隐藏团（对任意小的 $ \epsilon > 0 $）？
• RQ5 结合剪枝与早期停止的局部搜索能否扩展至 $ N \sim 10^{10} $ 或更大的图？

主要发现

• 带有早期停止的贪心局部搜索成功在 $ N = 10^{10} $ 的图中找到团，超过动态相变边界 $ \log_2 N $。
• 谱方法在 $ \alpha \geq \approx 1.0 $ 时可检测到植入团，对应团大小为 $ \sim N^{1/2} $。
• 使用 AMP 的信念传播将检测阈值降低至 $ \alpha \sim \sqrt{1/e} \approx 0.607 $，显著低于谱方法的极限。
• 在 $ N \sim 10^5 $ 到 $ 10^{10} $ 的实际规模问题上，结合早期停止的穷举局部搜索优于谱方法与 AMP 方法。
• 有限尺寸标度形式在以 $ K - \log_2 N $ 为横轴绘制时，将所有团不可扩展概率的曲线归一化为一个普适函数，证实了稳健的有限尺寸效应。
• 本文认为未来挑战应设定在有限尺寸范围内，而非渐近极限，因为现实世界数据与计算能力均处于此范围。