[论文解读] Representation Learning for Heterogeneous Information Networks via Embedding Events

Guoji Fu, Bo Yuan+2 more|arXiv (Cornell University)|Jan 29, 2019

Advanced Graph Neural Networks参考文献 30被引用 4

一句话总结

该论文提出 Event2vec，一种新颖的异质信息网络（HINs）网络表示学习框架，通过将关系建模为事件来捕捉对象交互的数量和语义属性。通过定义基于事件的一阶和二阶邻近性，并使用基于自编码器的事件嵌入模块，Event2vec 比现有最先进方法更有效地保留了结构和语义信息，在四个真实世界数据集上的链接预测、节点分类和网络重构任务中均取得了更优性能。

ABSTRACT

Network representation learning (NRL) has been widely used to help analyze large-scale networks through mapping original networks into a low-dimensional vector space. However, existing NRL methods ignore the impact of properties of relations on the object relevance in heterogeneous information networks (HINs). To tackle this issue, this paper proposes a new NRL framework, called Event2vec, for HINs to consider both quantities and properties of relations during the representation learning process. Specifically, an event (i.e., a complete semantic unit) is used to represent the relation among multiple objects, and both event-driven first-order and second-order proximities are defined to measure the object relevance according to the quantities and properties of relations. We theoretically prove how event-driven proximities can be preserved in the embedding space by Event2vec, which utilizes event embeddings to facilitate learning the object embeddings. Experimental studies demonstrate the advantages of Event2vec over state-of-the-art algorithms on four real-world datasets and three network analysis tasks (including network reconstruction, link prediction, and node classification).

研究动机与目标

• 解决现有 HIN 表示学习方法忽略多对象关系语义属性的局限性。
• 不仅通过共享事件数量（一阶邻近性）建模 HIN 中对象的相关性，还通过事件结构相似性（二阶邻近性）进行建模。
• 开发一种可扩展的框架，以在低维嵌入中保留基于事件的两种邻近性。
• 通过在真实世界 HIN 上的实证评估，证明基于事件的表示学习的有效性。

提出的方法

• 事件被定义为表示 HIN 中多个对象之间关系的完整语义单元，例如由多名作者共同撰写的论文及其发表的会议或期刊。
• 基于事件的一阶邻近性（EFP）根据共享事件的数量来衡量对象相关性，而基于事件的二阶邻近性（ESP）则根据事件集合的相似性来衡量。
• 使用自编码器通过重建事件与对象的关联矩阵来学习事件嵌入，对非零元素施加惩罚，以优先保证链接重建的准确性。
• 通过在嵌入空间中同时保留 EFP 和 ESP 来学习对象嵌入，采用对比损失目标函数，使邻近性度量与向量相似性对齐。
• 理论分析证明，在所提出的优化框架下，学习过程能够在嵌入空间中保持 EFP 和 ESP。
• 该框架采用两阶段端到端训练：首先学习事件嵌入，然后利用这些嵌入通过邻近性保持来学习对象嵌入。

实验结果

研究问题

• RQ1 将多对象关系建模为语义事件是否能提升异质信息网络中的表示学习？
• RQ2 事件数量（EFP）与事件属性相似性（ESP）如何共同影响 HIN 中对象的相关性？
• RQ3 使用事件嵌入的两阶段学习框架能否有效保留对象嵌入中的 EFP 和 ESP？
• RQ4 所提出的 Event2vec 框架在下游网络分析任务中与最先进方法相比表现如何？
• RQ5 嵌入维度和自编码器深度等模型超参数对性能有何影响？

主要发现

• 在包括 DBLP 和 IMDB 在内的四个真实世界 HIN 数据集上，Event2vec 在链接预测和节点分类任务中显著优于最先进方法。
• 在 DBLP 数据集上，Event2vec 在节点分类任务中取得了 0.921 的 AUC，比表现第二好的基线方法高出超过 3 个百分点。
• 在网络重构任务中，Event2vec 比 DeepWalk 和 node2vec 更有效地保留了结构信息，后两者在语义保真度方面表现较差。
• Event2vec 的性能对超参数变化具有鲁棒性，最优性能在嵌入维度 d=32 且关联矩阵中非零元素的惩罚率 β=10 时达到。
• 更深的自编码器（超过 7 层）导致过拟合并降低性能，表明对于事件嵌入学习，更简单的模型已足够且更稳定。
• 理论分析证实，学习过程在嵌入空间中有效保持了基于事件的一阶和二阶邻近性，验证了该框架设计的合理性。