[论文解读] SaC2Vec: Information Network Representation with Structure and Content

Sambaran Bandyopadhyay, Harsh Kara+2 more|arXiv (Cornell University)|Apr 27, 2018

Advanced Graph Neural Networks参考文献 2被引用 4

一句话总结

SaC2Vec 是一种新颖的无监督网络表示学习方法，通过构建多层图联合建模网络结构和节点内容，其中一层编码拓扑结构，额外层编码不同类型的内容（例如文本、图像）。它利用随机游走和语言建模生成低维节点嵌入，在多个真实世界数据集上的节点分类、聚类和可视化任务中达到最先进性能，尤其在应对内容层噪声方面表现出色。

ABSTRACT

Network representation learning (also known as information network embedding) has been the central piece of research in social and information network analysis for the last couple of years. An information network can be viewed as a linked structure of a set of entities. A set of linked web pages and documents, a set of users in a social network are common examples of information network. Network embedding learns low dimensional representations of the nodes, which can further be used for downstream network mining applications such as community detection or node clustering. Information network representation techniques traditionally use only the link structure of the network. But in real world networks, nodes come with additional content such as textual descriptions or associated images. This content is semantically correlated with the network structure and hence using the content along with the topological structure of the network can facilitate the overall network representation. In this paper, we propose Sac2Vec, a network representation technique that exploits both the structure and content. We convert the network into a multi-layered graph and use random walk and language modeling technique to generate the embedding of the nodes. Our approach is simple and computationally fast, yet able to use the content as a complement to structure and vice-versa. We also generalize the approach for networks having multiple types of content in each node. Experimental evaluations on four real world publicly available datasets show the merit of our approach compared to state-of-the-art algorithms in the domain.

研究动机与目标

• 为解决现有网络嵌入方法仅依赖拓扑结构、忽略丰富节点级内容（如文本或图像）的局限性。
• 开发一种简单、高效且无监督的方法，整合结构与语义信息以提升节点表示质量。
• 构建一个多层图框架，其中每个节点的内容被建模为独立层，实现结构与内容的联合学习。
• 在多样化的网络挖掘任务上评估该方法，并证明其对噪声或不一致内容的鲁棒性。

提出的方法

• 构建多层图：一层用于网络拓扑（节点之间的边），一层或多层用于不同类型节点内容（如文本、图像）。
• 在多层图上执行随机游走，允许层间转移（从结构到内容，或内容到内容），以捕捉语义与拓扑依赖关系。
• 使用语言建模目标（类似于 Word2Vec 中的 skip-gram）通过预测随机游走序列中的邻近节点和内容标记来学习节点嵌入。
• 将模型推广以处理每个节点的多种内容类型，将每种内容类型视为多层图中的独立层。
• 使用随机梯度下降端到端训练模型，以优化预测目标的负对数似然。
• 通过拼接（Appended Embedding）方式融合结构层与内容层的嵌入，用于下游任务。

实验结果

研究问题

• RQ1 与仅依赖结构的方法相比，联合建模网络结构与节点内容是否能提升节点嵌入的质量？
• RQ2 所提出的多层图框架如何实现异构内容类型（如文本、图像）与拓扑结构的有效整合？
• RQ3 当内容层存在噪声或不一致时，SaC2Vec 相较于其他多模态方法是否仍能保持强性能？
• RQ4 在多样化的网络挖掘任务中，SaC2Vec 与 DeepWalk、node2vec、TADW 和 GraphSAGE 等最先进算法相比表现如何？

主要发现

• 在包括 Pubmed、Flickr 和 Cora 在内的四个真实世界数据集上，SaC2Vec 在节点分类和聚类任务中优于所有基线算法，包括 TADW 和 AANE。
• 在 Pubmed 数据集上，SaC2Vec 的性能与仅在结构层上应用 node2vec 的结果相当，表明其对噪声或不一致内容具有鲁棒性。
• Appended Embedding 变体——即拼接结构与内容嵌入——在 Pubmed 上表现最佳，证明了两种模态的互补价值。
• 在使用 ISOMAP 的网络可视化中，SaC2Vec 成功将节点划分为不同的社区，而 TADW 和 AANE 尽管同时使用了结构与内容，却无法区分类别。
• SaC2Vec 在所有数据集上均表现稳定，即使基于内容的模型如 TADW 或 AANE 表现不佳，也凸显了其适应性和对数据不一致性问题的鲁棒性。
• 该方法计算效率高且为无监督方法，适用于大规模网络，无需标注数据或大量计算资源。