[论文解读] Optimal Cluster Recovery in the Labeled Stochastic Block Model

Se-Young Yun, Alexandre Proutière|arXiv (Cornell University)|Oct 20, 2015

Complex Network Analysis Techniques参考文献 22被引用 14

一句话总结

本文確立了標記隨機塊模型（LSBM）中最佳聚類恢復的本質極限，識別出聚類算法最多僅能實現 $ s = o(n) $ 個分類錯誤項的精確參數範圍。本文提出一種譜算法，以 $ O(n\text{polylog}(n)) $ 的計算複雜度達到此資訊理論極限，且無需事先知道模型參數。

ABSTRACT

We consider the problem of community detection or clustering in the labeled Stochastic Block Model (LSBM) with a finite number $K$ of clusters of sizes linearly growing with the global population of items $n$. Every pair of items is labeled independently at random, and label $\ell$ appears with probability $p(i,j,\ell)$ between two items in clusters indexed by $i$ and $j$, respectively. The objective is to reconstruct the clusters from the observation of these random labels. Clustering under the SBM and their extensions has attracted much attention recently. Most existing work aimed at characterizing the set of parameters such that it is possible to infer clusters either positively correlated with the true clusters, or with a vanishing proportion of misclassified items, or exactly matching the true clusters. We find the set of parameters such that there exists a clustering algorithm with at most $s$ misclassified items in average under the general LSBM and for any $s=o(n)$, which solves one open problem raised in \cite{abbe2015community}. We further develop an algorithm, based on simple spectral methods, that achieves this fundamental performance limit within $O(n \mbox{polylog}(n))$ computations and without the a-priori knowledge of the model parameters.

研究动机与目标

• 確定聚類算法在標記隨機塊模型（LSBM）中最多僅能實現 $ s = o(n) $ 個分類錯誤項的精確參數條件。
• 透過描述一般 LSBM 參數下聚類恢復的最小可達錯誤，解決社區檢測中的一個開放問題。
• 開發一種計算效率高的算法，達成資訊理論極限，且無需事先知道模型參數。
• 將現有關於 SBM 中社區檢測的結果推廣至更具一般性的 LSBM 框架，包含多個標籤。

提出的方法

• 基於 Kullback-Leibler 散度與最大後驗概率（MAP）估計，使用資訊理論分析推導最佳聚類恢復的必要條件。
• 提出一種譜聚類算法，利用標籤機率的結構，以高效方式恢復聚類。
• 運用擾動論證與集中不等式，界定聚類分配錯誤機率的界。
• 採用改良的分割策略，證明當資訊理論閾值被違反時，MAP 估計器無法恢復真實分割。
• 分析不同聚類之間標籤機率分佈間 KL 散度的漸近行為，以推導本質極限。
• 確立所提出的譜算法在 $ O(n\text{polylog}(n)) $ 時間內達成最佳錯誤率，且獨立於模型參數。

实验结果

研究问题

• RQ1 在標記隨機塊模型（LSBM）的何種參數範圍下，可實現最多 $ s = o(n) $ 個分類錯誤項的聚類恢復？
• RQ2 在具有多個標籤與任意聚類大小比例的一般 LSBM 中，聚類恢復的本質資訊理論極限為何？
• RQ3 譜聚類算法是否能在不事先知道模型參數的情況下達成此最佳性能？
• RQ4 不同聚類之間標籤機率分佈的 KL 散度如何決定精確或近乎精確恢復的可行性？
• RQ5 在 LSBM 中可達成的最小分類錯誤項數量為何？其在不同參數範圍下如何隨 $ n $ 變化？

主要发现

• 本文確立了最佳聚類恢復的必要且充分條件：當 $ nD(\alpha,p)/\log n < 1 - \eta $ 對某個 $ \eta > 0 $ 時，任何算法均無法實現 $ o(n) $ 個分類錯誤項。
• 當 $ nD(\alpha,p)/\log n < 1 - \eta $ 時，任何聚類算法的錯誤機率至少為 $ 1 - n^{-\eta/4} $，表示以高機率無法恢復真實分割。
• 提出一種譜聚類算法，以 $ O(n\text{polylog}(n)) $ 的計算複雜度達成最佳錯誤率。
• 該算法無需事先知道模型參數 $ \alpha $ 和 $ p(i,j,\ell) $，使其在實際應用中更具實用性。
• 關鍵洞見在於，不同聚類之間標籤機率分佈的 KL 散度決定了聚類恢復的本質極限，其閾值由比率 $ nD(\alpha,p)/\log n $ 決定。
• 分析確認標準 SBM 是 LSBM 的特例，且所有先前關於精確恢復與錯誤率趨於零的結果均可作為特例被重新導出。