[论文解读] Relation Structure-Aware Heterogeneous Information Network Embedding

Yuanfu Lu, Chuan Shi+2 more|arXiv (Cornell University)|May 15, 2019

Advanced Graph Neural Networks参考文献 31被引用 5

一句话总结

该论文提出RHINE，一种新颖的异质信息网络嵌入模型，通过结构感知度量方法，将关联关系（一者依附于另一者）与交互关系（对等关系）区分开来。该模型对关联关系采用欧氏距离，对交互关系采用平移机制，并在统一框架中进行优化，实现了在三个真实世界数据集上的节点聚类、链接预测和节点分类任务的最先进性能。

ABSTRACT

Heterogeneous information network (HIN) embedding aims to embed multiple types of nodes into a low-dimensional space. Although most existing HIN embedding methods consider heterogeneous relations in HINs, they usually employ one single model for all relations without distinction, which inevitably restricts the capability of network embedding. In this paper, we take the structural characteristics of heterogeneous relations into consideration and propose a novel Relation structure-aware Heterogeneous Information Network Embedding model (RHINE). By exploring the real-world networks with thorough mathematical analysis, we present two structure-related measures which can consistently distinguish heterogeneous relations into two categories: Affiliation Relations (ARs) and Interaction Relations (IRs). To respect the distinctive characteristics of relations, in our RHINE, we propose different models specifically tailored to handle ARs and IRs, which can better capture the structures and semantics of the networks. At last, we combine and optimize these models in a unified and elegant manner. Extensive experiments on three real-world datasets demonstrate that our model significantly outperforms the state-of-the-art methods in various tasks, including node clustering, link prediction, and node classification.

研究动机与目标

• 为解决现有异质信息网络嵌入方法对所有关系一视同仁、忽视结构差异的问题。
• 识别并形式化异质信息网络中关系的结构特征，采用数学基础坚实的判别标准。
• 设计一个统一但差异化的嵌入框架，以尊重关联关系与交互关系的结构模式差异。
• 通过关系特异性建模，提升节点聚类、链接预测和节点分类等下游任务的性能。

提出的方法

• 论文引入两种与结构相关的度量方法，将关系划分为两类：具有‘一者依附于另一者’结构的关联关系（ARs），以及具有‘对等’结构的交互关系（IRs）。
• 对于ARs，模型使用欧氏距离，强制共享同一中心的节点保持接近，以捕捉如‘发表于会议’这类关系的‘中心化’特性。
• 对于IRs，模型采用平移机制，将关系建模为节点之间的向量偏移，适用于如‘共同作者’或‘撰写’等对等连接。
• 两种模型被整合进统一的优化框架中，支持端到端训练并共享超参数。
• 通过负采样和随机优化进行训练，学习节点表征以保留结构与语义关系。

实验结果

研究问题

• RQ1 能否使用定量且可解释的标准，一致地测量并区分异质信息网络中关系的结构特征？
• RQ2 如何在异质信息网络嵌入中有效建模不同的结构模式，特别是‘一者依附于另一者’与‘对等’结构？
• RQ3 通过为不同类型关系使用定制化模型，是否能相比使用单一统一模型，提升表征学习效果？
• RQ4 统一的优化框架能否有效结合关系特异性模型，而不损害训练效率或性能？

主要发现

• RHINE在三个真实世界数据集上的节点聚类、链接预测和节点分类任务中，显著优于当前最先进方法。
• 在DBLP和Yelp数据集上，RHINE平均将节点分类性能提升约4%，且在聚类与链接预测任务中也保持一致的性能增益。
• 消融实验表明，与不区分关系的变体（RHINE_Eu）或对所有关系使用单一模型的变体（RHINE_Tr）相比，RHINE表现更优，证实了结构差异化的有效性。
• 将模型分配颠倒的变体（RHINE_Re，即对IRs使用欧氏距离，对ARs使用平移机制）性能劣于RHINE，验证了模型与关系类型匹配的正确性。
• 可视化结果表明，RHINE能学习到更一致且区分度更高的节点聚类（如按会议或主题分组的论文），而DeepWalk与metapath2vec则表现较差。
• 超参数分析显示，当嵌入维度约为100、负样本数为3时，模型性能趋于稳定，表明对超参数设置具有鲁棒性。