[论文解读] Subsampled Power Iteration: a Unified Algorithm for Block Models and Planted CSP's

Vitaly Feldman, Will Perkins+1 more|arXiv (Cornell University)|Jul 10, 2014

Bayesian Modeling and Causal Inference参考文献 34被引用 11

一句话总结

本文提出子采样幂迭代（Subsampled Power Iteration），一种快速的线性时间算法，通过广义二部块模型统一了随机块模型和植根约束满足问题（planted CSPs）中植根划分的恢复。通过在邻接矩阵上进行迭代子采样并应用幂迭代，该方法在高概率下实现了最优恢复阈值，优于谱方法和SDP方法——尤其在不平衡二部图设置中，标准谱方法因范数障碍而失效。

ABSTRACT

We present an algorithm for recovering planted solutions in two well-known models, the stochastic block model and planted constraint satisfaction problems, via a common generalization in terms of random bipartite graphs. Our algorithm matches up to a constant factor the best-known bounds for the number of edges (or constraints) needed for perfect recovery and its running time is linear in the number of edges used. The time complexity is significantly better than both spectral and SDP-based approaches. The main contribution of the algorithm is in the case of unequal sizes in the bipartition (corresponding to odd uniformity in the CSP). Here our algorithm succeeds at a significantly lower density than the spectral approaches, surpassing a barrier based on the spectral norm of a random matrix. Other significant features of the algorithm and analysis include (i) the critical use of power iteration with subsampling, which might be of independent interest; its analysis requires keeping track of multiple norms of an evolving solution (ii) it can be implemented statistically, i.e., with very limited access to the input distribution (iii) the algorithm is extremely simple to implement and runs in linear time, and thus is practical even for very large instances.

研究动机与目标

• 在统一框架下统一植根划分在随机块模型和植根CSPs中的算法恢复问题。
• 开发一种快速的线性时间算法，使其在两种模型中的恢复阈值达到或超过已知最优水平。
• 克服传统谱方法在不平衡二部图中因谱范数障碍而受限的问题。
• 通过最小化对输入数据的访问支持在统计查询模型中的实现。
• 提供一种简单、实用的算法，兼具理论严谨性与大规模实例的可扩展性。

提出的方法

• 该算法在从二部块模型的完整邻接矩阵中导出的一系列随机子采样矩阵上应用幂迭代。
• 通过迭代步骤保持并更新归一化向量，通过跟踪多个范数来控制迭代过程中的误差增长。
• 该方法依赖于集中不等式（如Hoeffding不等式和Berry–Esséen不等式）分析向量范数和相关性的演化。
• 在每次迭代中应用子采样以降低计算成本，同时保持植根划分方向的信号强度。
• 对向量最终迭代结果进行多数投票，以恢复真实的植根分配或划分。
• 分析区分两个阶段：相关性的指数增长阶段与稳定阶段，并对收敛性提供严格的高概率界。

实验结果

研究问题

• RQ1 能否设计一种单一算法，在随机块模型和植根CSPs中均实现最优恢复？
• RQ2 在低密度、不平衡二部图中，子采样后的幂迭代能否优于完整谱方法？
• RQ3 实现完美恢复所需的最少边数或约束数是多少？该算法能否达到这一阈值？
• RQ4 该算法能否在有限访问输入分布（如统计查询模型）的条件下实现？
• RQ5 迭代子采样是否有助于克服传统谱聚类在非平衡设置中受谱范数障碍的限制？

主要发现

• 对于植根r-CSPs，该算法仅需O(n^{r/2} log n)个子句即可以高概率实现完美恢复，与已知计算下界一致。
• 其时间复杂度相对于边数或约束数为线性，显著优于谱方法和SDP方法。
• 在不平衡二部图（|V₂| ≫ |V₁|）中，该算法在低于标准谱方法的边密度下仍能成功，克服了谱范数障碍。
• 即使在随机矩阵的谱范数主导信号的区域，该方法仍能恢复植根分配，而传统谱聚类在此情形下会失败。
• 分析表明，向量范数在早期迭代中呈指数增长，以高概率在O(log n)步内达到√n₁/2。
• 对最终迭代结果进行多数投票，可高概率恢复真实植根向量±u，实现高概率下的精确恢复。