[论文解读] Overlapping Clustering Models, and One (class) SVM to Bind Them All

Xueyu Mao, Purnamrita Sarkar+1 more|arXiv (Cornell University)|Jun 18, 2018

Complex Network Analysis Techniques参考文献 34被引用 14

一句话总结

该论文提出SVM-cone，一种可扩展且可证明一致的重叠聚类方法，利用一类SVM从数据点位于圆锥结构中的模型（如混合成员随机块模型、主题模型和度数校正网络模型）中推断社区成员身份。该方法通过在单位球面上进行归一化和支持向量检测，避免了归一化过程中的误差放大，从而优于传统的单纯形方法。

ABSTRACT

People belong to multiple communities, words belong to multiple topics, and books cover multiple genres; overlapping clusters are commonplace. Many existing overlapping clustering methods model each person (or word, or book) as a non-negative weighted combination of "exemplars" who belong solely to one community, with some small noise. Geometrically, each person is a point on a cone whose corners are these exemplars. This basic form encompasses the widely used Mixed Membership Stochastic Blockmodel of networks (Airoldi et al., 2008) and its degree-corrected variants (Jin et al., 2017), as well as topic models such as LDA (Blei et al., 2003). We show that a simple one-class SVM yields provably consistent parameter inference for all such models, and scales to large datasets. Experimental results on several simulated and real datasets show our algorithm (called SVM-cone) is both accurate and scalable.

研究动机与目标

• 解决现有重叠聚类方法依赖脆弱单纯形投影且对误差放大敏感的局限性。
• 通过基于圆锥结构的统一几何框架，将多样化的重叠聚类模型（如主题模型和网络块模型）统一起来。
• 为具有非负、非对称权重的重叠模型中的社区成员身份估计，开发一种可扩展且统计一致的推断方法。
• 证明一类SVM即使在数据存在噪声或损坏的情况下，也能可靠地识别圆锥中的角射线（纯代表性样本）。

提出的方法

• 将所有重叠聚类问题建模为位于非负圆锥内的数据点，其中理想点是圆锥顶点处‘代表性’节点的凸组合。
• 将数据点归一化至单位球面，以稳定几何推断并避免因低质量单纯形投影导致的误差放大。
• 应用一类SVM检测对应于圆锥角射线的支持向量，从而识别出纯代表性样本。
• 利用识别出的代表性样本通过回归估计成员权重，实现对重叠聚类成员身份的一致推断。
• 证明一类SVM方法在温和正则性条件下可实现一致的参数估计，包括随着样本量增加而收敛至真实成员身份。
• 通过将数据转换为圆锥框架，将该方法适配至多种模型，包括度数校正的MMSB和主题模型。

实验结果

研究问题

• RQ1 是否一种单一、统一的方法能够在包括主题模型和网络块模型在内的多样化重叠聚类模型中实现一致推断？
• RQ2 一类SVM是否能在存在噪声的情况下，对圆锥结构模型中的社区成员身份提供可证明一致的估计？
• RQ3 在角点检测过程中，该方法相较于现有方法在误差放大方面的鲁棒性如何？
• RQ4 该方法是否能在保持统计一致性的同时高效扩展至大规模数据集？

主要发现

• SVM-cone 对所有圆锥结构的重叠聚类模型（包括MMSB、DCMMSB和LDA）实现了可证明一致的参数推断。
• 该方法通过在单位球面上进行归一化和支持向量检测，避免了误差放大，优于基于单纯形的方法。
• 在模拟和真实数据集上，SVM-cone 展现出高准确率和可扩展性，在聚类质量与计算效率方面均优于现有方法。
• 对于两个社区大小相等的SBM，当分离条件 $(p - q)/\sqrt{p} = \tilde{\Omega}(1/\sqrt{n})$ 成立时，SVM-cone 能够一致地估计节点标签，其一致性阈值与已知结果仅相差对数因子。
• 通过在 $1/K$ 处设定阈值，该方法成功从DCMMSB中恢复出二值社区分配，使其可应用于存在重叠的随机块模型。
• 在NIPS、PubMed和Enron等数据集上的实证结果表明，SVM-cone 能够准确恢复有意义的主题和社区，其前10个关键词主题与领域知识高度一致。