[论文解读] Structural Deep Embedding for Hyper-Networks

Ke Tu, Peng Cui+3 more|arXiv (Cornell University)|Nov 28, 2017

Advanced Graph Neural Networks被引用 73

一句话总结

DHNE 使用非线性元组相似性函数和二阶邻域自编码器，在具有不可分解超边的异质超网络中学习节点嵌入，在多个数据集上超越了现有最先进的基线。

ABSTRACT

Network embedding has recently attracted lots of attentions in data mining. Existing network embedding methods mainly focus on networks with pairwise relationships. In real world, however, the relationships among data points could go beyond pairwise, i.e., three or more objects are involved in each relationship represented by a hyperedge, thus forming hyper-networks. These hyper-networks pose great challenges to existing network embedding methods when the hyperedges are indecomposable, that is to say, any subset of nodes in a hyperedge cannot form another hyperedge. These indecomposable hyperedges are especially common in heterogeneous networks. In this paper, we propose a novel Deep Hyper-Network Embedding (DHNE) model to embed hyper-networks with indecomposable hyperedges. More specifically, we theoretically prove that any linear similarity metric in embedding space commonly used in existing methods cannot maintain the indecomposibility property in hyper-networks, and thus propose a new deep model to realize a non-linear tuplewise similarity function while preserving both local and global proximities in the formed embedding space. We conduct extensive experiments on four different types of hyper-networks, including a GPS network, an online social network, a drug network and a semantic network. The empirical results demonstrate that our method can significantly and consistently outperform the state-of-the-art algorithms.

研究动机与目标

• 解决异质超网络中的不可分解高阶关系。
• 在嵌入中同时保留局部（一级）和全局（二阶）邻近性。
• 提出一种非线性的元组相似性函数，以避免不可分解性问题。
• 将元组相似性模型与保持邻域结构的自编码器联合优化。
• 在多样化的真实世界超网络数据集上展示有效性和可扩展性。

提出的方法

• 定义在超边所有节点上操作的不可分解的 N-tuple 相似性函数，并证明线性相似性无法保持不可分解性。
• 用深度神经网络对元组相似性建模，确保非线性并通过基于 sigmoid 的损失实现与一级邻近性的对齐。
• 在超网络的邻接（关联）矩阵上使用深度自编码器，以保持二阶邻近性和邻域结构。
• 用联合损失 L = L1 + α L2 同时优化元组相似性网络和自编码器。
• 使用带负采样的随机梯度下降来训练模型。
• 通过将新节点的邻接向量输入到相应的自编码器来提供样本外扩展。

实验结果

研究问题

• RQ1 线性元组相似性函数是否可以在嵌入中保持不可分解的超边结构？
• RQ2 如何在超网络中联合保持一级（入度/边的存在性）和二阶（邻域结构）邻近性？
• RQ3 非线性元组深度模型在超网络任务上是否优于可分解或基于成对的基线？
• RQ4 所提出的 DHNE 是否对大型异质超网络具备可扩展性？

主要发现

• 在四个真实世界的超网络上，DHNE 在网络重建任务上始终优于基线。
• 该方法在稀疏数据集上表现出鲁棒性，在对稀疏性敏感的领域中获得更大提升。
• 保持不可分解性并融合二阶近邻性，相对于假设可分解高阶关系的方法，显著改进预测效果。
• 对非线性元组相似性与基于自编码器的邻近性的联合优化比先前方法更好地保持局部和全局结构。
• 训练复杂度随节点数量线性扩展，使大规模应用成为可能。