[论文解读] Testing Community Structures for Hypergraphs

Mingao Yuan, Ruiqi Liu+2 more|arXiv (Cornell University)|Oct 10, 2018

Complex Network Analysis Techniques参考文献 62被引用 9

一句话总结

该论文提出了一种统计框架，通过将观测到的超图与Erdős-Rényi随机超图进行比较，以检验超图中社区结构的存在性。该框架在超边概率上建立了相变现象，并推导出在度数有界和稠密两种情形下的精确信噪比（SNR）可区分阈值，提出了一种基于子超图计数的新型检验方法，其性能优于仅基于边的检验方法。

ABSTRACT

Many complex networks in real world can be formulated as hypergraphs where community detection has been widely used. However, the fundamental question of whether communities exist or not in an observed hypergraph still remains unresolved. The aim of the present paper is to tackle this important problem. Specifically, we study when a hypergraph with community structure can be successfully distinguished from its Erdös-Renyi counterpart, and propose concrete test statistics based on hypergraph cycles when the models are distinguishable. Our contributions are summarized as follows. For uniform hypergraphs, we show that successful testing is always impossible when average degree tends to zero, might be possible when average degree is bounded, and is possible when average degree is growing. We obtain asymptotic distributions of the proposed test statistics and analyze their power. Our results for growing degree case are further extended to nonuniform hypergraphs in which a new test involving both edge and hyperedge information is proposed. The novel aspect of our new test is that it is provably more powerful than the classic test involving only edge information. Simulation and real data analysis support our theoretical findings. The proofs rely on Janson's contiguity theory (\cite{J95}) and a high-moments driven asymptotic normality result by Gao and Wormald (\cite{GWALD}).

研究动机与目标

• 解决一个基本的开放性问题：即在不先验假设的前提下，判断观测到的超图中是否存在社区结构。
• 构建一个统计假设检验框架，以区分具有社区结构的超图与其Erdős-Rényi随机对应物。
• 推导出在度数有界和稠密情形下，双社区m-一致超图中可区分性的精确信噪比（SNR）阈值。
• 通过提出一种结合边和超边信息的新检验统计量，将该框架扩展至非一致超图，以提升检验效能。
• 利用Janson的邻接性理论、高阶矩的渐近正态性以及截断技术，为似然比分析提供理论保证。

提出的方法

• 提出一种假设检验，将随机块模型（SBM）超图与原假设下的Erdős-Rényi超图进行比较。
• 推导出决定社区结构何时可被检测到的超边概率相变。
• 针对双社区m-一致超图，在度数有界情形下推导出几乎紧致的SNR可区分阈值。
• 在稠密情形下，提出一种基于子超图计数（如3(m-l)-环）的计算可行检验方法，并证明其渐近正态性。
• 为非一致超图引入一种结合边和超边信息的新检验统计量，以增强检测能力。
• 采用Janson的邻接性理论和截断技术分析似然比，建立在原假设和备择假设下统计量的渐近行为。

实验结果

研究问题

• RQ1 在何种超边概率下，具有社区结构的超图可被统计上与随机的Erdős-Rényi超图区分开？
• RQ2 在度数有界条件下，双社区m-一致超图中检测社区结构的精确信噪比（SNR）阈值是多少？
• RQ3 基于子超图计数的计算可行检验方法是否能在稠密超图中实现渐近正态性并具备高统计功效？
• RQ4 在非一致超图中，与仅基于边的检验相比，整合超边信息如何提升检测能力？
• RQ5 为严谨分析超图社区检测中的邻接性和似然比行为，需要哪些理论工具？

主要发现

• 超边概率的相变现象决定了社区结构可被统计检测到的临界阈值。
• 在度数有界情形下，为双社区m-一致超图推导出几乎紧致的可区分性SNR阈值，其阈值尺度为 $ \frac{(2^{m-1}-1)\kappa}{m(m-1)} $。
• 在稠密情形下，所提出的子超图计数检验方法实现了渐近正态性，且统计功效随样本量增加而提升。
• 在非一致超图中，结合边和超边信息的新检验统计量被证明比仅基于边的检验更具检测能力。
• 似然比检验在备择假设下具有一致性，其检验统计量在 $ P_1 $ 下发散，而在 $ P_0 $ 下保持有界。
• 理论分析证实，当信噪比超过临界阈值时，所提出的检验方法能够有效区分社区结构与随机性，且该阈值取决于超图的一致性程度和模型参数。