[论文解读] Vertex-Context Sampling for Weighted Network Embedding

Chih‐Ming Chen, Yi‐Hsuan Yang+2 more|arXiv (Cornell University)|Nov 1, 2017

Advanced Graph Neural Networks参考文献 16被引用 4

一句话总结

本文提出了一种加权顶点上下文采样（VCS）框架，通过用加权、上下文感知的采样替代均匀采样，增强了网络嵌入，以保留边权重并提升表示质量。该方法采用顺序顶点上下文图结构实现常数时间采样，支持高效、低内存的训练，在相似性搜索、分类和推荐任务上优于均匀采样和当前最先进方法。

ABSTRACT

In recent years, network embedding methods have garnered increasing attention because of their effectiveness in various information retrieval tasks. The goal is to learn low-dimensional representations of vertexes in an information network and simultaneously capture and preserve the network structure. Critical to the performance of a network embedding method is how the edges/vertexes of the network is sampled for the learning process. Many existing methods adopt a uniform sampling method to reduce learning complexity, but when the network is non-uniform (i.e. a weighted network) such uniform sampling incurs information loss. The goal of this paper is to present a generalized vertex sampling framework that works seamlessly with most existing network embedding methods to support weighted instead of uniform vertex/edge sampling. For efficiency, we propose a delicate sequential vertex-to-context graph data structure, such that sampling a training pair for learning takes only constant time. For scalability and memory efficiency, we design the graph data structure in a way that keeps space consumption low without requiring additional space. In addition to implementing existing network embedding methods, the proposed framework can be used to implement extensions that feature high-order proximity modeling and weighted relation modeling. Experiments conducted on three datasets, including a commercial large-scale one, verify the effectiveness and efficiency of the proposed weighted network embedding methods on a variety of tasks, including word similarity search, multi-label classification, and item recommendation.

研究动机与目标

• 解决加权网络中均匀采样方法的局限性，后者忽略边权重信息并降低表示质量。
• 开发一种可扩展且内存高效的采样框架，与现有网络嵌入方法兼容。
• 在统一的采样框架中实现高阶接近度和加权关系建模。
• 在不预计算或使用大型数据结构的前提下，实现高效率（常数时间采样）和低内存使用。
• 在真实世界和大规模数据集上的多个下游任务中展示优越性能。

提出的方法

• 引入一种顺序顶点上下文图数据结构，以紧凑的顺序格式存储连接关系，实现 O(1) 时间采样训练对。
• 设计一种加权顶点上下文采样函数，根据边权重优先选择更强的边，替代均匀采样。
• 基于顶点特征将网络分解为子网络，以实现高效、局部化的采样。
• 在不修改其核心优化过程的前提下，将 VCS 框架与现有网络嵌入模型（如 LINE、DeepWalk、node2vec）集成。
• 通过采样框架的灵活性，支持高阶接近度和加权关系建模的扩展。
• 支持即时采样和训练，避免预计算随机游走或大型中间数据结构。

实验结果

研究问题

• RQ1 与均匀采样相比，加权采样策略是否能在加权网络中提升网络嵌入性能？
• RQ2 能否设计一种采样框架，在保持低内存使用的同时实现常数时间成对采样？
• RQ3 所提出的框架是否能有效实现网络嵌入中高阶接近度和加权关系的建模？
• RQ4 与现有方法相比，VCS 方法在大规模网络中的内存和执行时间方面如何扩展？
• RQ5 在推荐和相似性搜索等真实世界任务中，加权采样在多大程度上提升了性能？

主要发现

• 所提出的基于 VCS 的网络嵌入方法在 KKBOX 在线推荐任务中实现了 14.5% 的 mAP，显著优于 DeepWalk（6.8%）和均匀 VCS-HPE（8.2%）。
• 在 Movielens-20M 数据集上，非均匀 VCS-HPE 方法在电影-电影推荐任务中超越了 DeepWalk，尤其在考虑稀有但信息量大的项目时表现更优。
• 基于 VCS 的方法内存使用量与 LINE 和 DeepWalk（单次游走时间）相当，且小于 node2vec 的边-边图结构的 1/10。
• 尽管 LINE 本身已针对可扩展性进行原生优化，使用多线程时，所提方法相比原始 LINE 算法实现了 2 倍的加速。
• 均匀与非均匀 VCS-HPE 之间的性能差距证实了加权采样的有效性，特别是在通过评分权重捕捉用户偏好方面。
• 该框架成功实现了高阶接近度和加权关系建模，且未增加计算或内存开销。