[论文解读] mvn2vec: Preservation and Collaboration in Multi-View Network Embedding

Yu Shi, Fangqiu Han+5 more|arXiv (Cornell University)|Jan 19, 2018

Advanced Graph Neural Networks参考文献 53被引用 57

一句话总结

该论文将保留和协作确立为多视图网络嵌入的关键目标，并提出 mvn2vec-con 与 mvn2vec-reg 以共同建模它们，实验表明在何种情况下联合建模有帮助。

ABSTRACT

Multi-view networks are broadly present in real-world applications. In the meantime, network embedding has emerged as an effective representation learning approach for networked data. Therefore, we are motivated to study the problem of multi-view network embedding with a focus on the optimization objectives that are specific and important in embedding this type of network. In our practice of embedding real-world multi-view networks, we explicitly identify two such objectives, which we refer to as preservation and collaboration. The in-depth analysis of these two objectives is discussed throughout this paper. In addition, the mvn2vec algorithms are proposed to (i) study how varied extent of preservation and collaboration can impact embedding learning and (ii) explore the feasibility of achieving better embedding quality by modeling them simultaneously. With experiments on a series of synthetic datasets, a large-scale internal Snapchat dataset, and two public datasets, we confirm the validity and importance of preservation and collaboration as two objectives for multi-view network embedding. These experiments further demonstrate that better embedding can be obtained by simultaneously modeling the two objectives, while not over-complicating the model or requiring additional supervision. The code and the processed datasets are available at http://yushi2.web.engr.illinois.edu/.

研究动机与目标

• 基于现实世界实践识别多视图网络嵌入特有的目标（保留/保持和协作）。
• 分析何时存在保留与协作以及它们如何影响嵌入质量。
• 提出 mvn2vec-con 与 mvn2vec-reg，以在无需额外监督的情况下对这两个目标建模。
• 评估不同程度的保留和协作在合成和真实数据集上的嵌入性能影响。

提出的方法

• 定义多视图网络及为每个视图建立中心/上下文嵌入。
• 引入视内的 skip-gram 风格损失以保留特定视图的结构。
• 提出 mvn2vec-con，具有受限的跨视图上下文嵌入，通过共享参数（theta 控制共享）来促进协作。
• 提出 mvn2vec-reg，具有跨视图正则化，通过惩罚项 gamma 在鼓励协作的同时保持视图特定嵌入。
• 使用基于随机游走的采样和负采样（skip-gram）实现可扩展的优化。
• 提供对 mvn2vec-con 与 mvn2vec-reg 的 ASGD 优化及梯度，并讨论复杂度。

实验结果

研究问题

• RQ1 多视图网络嵌入的两个目标（保留和协作）是什么，为什么重要？
• RQ2 联合建模保留和协作是否能产生比关注单一目标的模型更好的嵌入？
• RQ3 mvn2vec-con 与 mvn2vec-reg 如何在不增加额外监督的情况下实现这些目标？
• RQ4 这些方法在合成与真实世界的多视图网络上，在下游任务上的表现如何？

主要发现

数据集	指标	独立	一个空间
YouTube	ROC-AUC	0.931	0.914
YouTube	PRC-AUC	0.745	0.702
Twitter	ROC-AUC	0.724	0.737
Twitter	PRC-AUC	0.447	0.466

• 保留与协作都具有影响力，其相对重要性取决于数据（例如 YouTube 与 Twitter）。
• 联合建模（mvn2vec-con 或 mvn2vec-reg）在协作有益时可以超过单目标方法，而在其他情况下保留视图特定语义是有利的。
• 在合成和真实数据集上的实验表明，所提出的模型验证了同时结合保留与协作的有用性。
• 一个简单的独立模型偏向保留，而一个单一空间模型强调协作，mvn2vec 变体在两者之间取得平衡。