[论文解读] Multilayer Graph Signal Clustering.

Mireille El Gheche, Pascal Frossard|arXiv (Cornell University)|Nov 2, 2018

Complex Network Analysis Techniques参考文献 19被引用 2

一句话总结

该论文提出了一种两步法用于多层图信号聚类，通过计算拉普拉斯矩阵的几何平均来聚合多个网络层，并联合利用节点特征与多层网络结构，同时训练神经网络以学习与聚合图结构一致的嵌入表示。该方法通过随机梯度下降学习聚类友好的表示，使其与聚合拉普拉斯矩阵的主导特征向量对齐，从而实现最先进性能。

ABSTRACT

Network data appears in very diverse applications, like biological, social, or sensor networks. Clustering of network nodes into categories or communities has thus become a very common task in machine learning and data mining. Network data comes with some information about the network edges. In some cases, this network information can even be given with multiple views or multiple layers, each one representing a different type of relationship between the network nodes. Increasingly often, network nodes also carry a feature vector. We propose in this paper to extend the node clustering problem, that commonly considers only the network information, to a problem where both the network information and the node features are considered together for learning a clustering-friendly representation of the feature space. Specifically, we design a generic two-step algorithm for multilayer network data clustering. The first step aggregates the different layers of network information into a graph representation given by the geometric mean of the network Laplacian matrices. The second step uses a neural net to learn a feature embedding that is consistent with the structure given by the network layers. We propose a novel algorithm for efficiently training the neural net via stochastic gradient descent, which encourages the neural net outputs to span the leading eigenvectors of the aggregated Laplacian matrix, in order to capture the pairwise interactions on the network, and provide a clustering-friendly representation of the feature space. We demonstrate with an extensive set of experiments on synthetic and real datasets that our method leads to a significant improvement w.r.t. state-of-the-art multilayer graph clustering algorithms, as it judiciously combines nodes features and network information in the node embedding algorithms.

研究动机与目标

• 解决现有聚类方法仅单独考虑网络结构或特征的局限性。
• 开发一种统一框架，联合建模多层网络信息与节点特征向量，以提升聚类性能。
• 学习一种低维、聚类友好的节点特征表示，同时尊重多层网络结构之间的关系。
• 设计一种高效的神经网络嵌入训练流程，使其与聚合网络结构的谱特性对齐。

提出的方法

• 通过计算各层拉普拉斯矩阵的几何平均，聚合多个网络层，形成统一的图表示。
• 使用神经网络学习与聚合拉普拉斯矩阵谱结构一致的特征嵌入。
• 采用随机梯度下降训练神经网络，通过鼓励其输出覆盖聚合拉普拉斯矩阵的主导特征向量。
• 利用聚合拉普拉斯矩阵的特征向量，保留跨层的成对节点交互关系与社区结构。
• 在端到端可微分框架中，联合整合节点特征与网络拓扑，实现联合表征学习。

实验结果

研究问题

• RQ1 如何有效结合节点特征与多层网络结构，以提升聚类性能？
• RQ2 如何将多个网络层最优聚合为单一、具有代表性的图结构？
• RQ3 如何训练神经网络，使其生成的嵌入能反映多层网络的谱特性？
• RQ4 联合建模特征与多层网络结构在多大程度上优于仅使用单一模态的方法？

主要发现

• 所提方法在合成数据集与真实世界数据集上，相较于最先进多层图聚类算法，均取得显著性能提升。
• 采用拉普拉斯矩阵的几何平均聚合方式，相比简单平均或拼接，能生成更鲁棒、更具代表性的图结构。
• 通过与聚合拉普拉斯矩阵主导特征向量对齐训练的神经网络嵌入，可产生更一致且更具判别力的聚类分配结果。
• 联合建模特征与多层网络结构，可生成聚类友好的表征，显著提升下游聚类准确率。