[论文解读] Sampling methods for efficient training of graph convolutional networks: A survey

Xin Liu, Mingyu Yan+4 more|arXiv (Cornell University)|Mar 10, 2021

Advanced Graph Neural Networks参考文献 98被引用 13

一句话总结

本综述对图卷积网络（GCNs）高效训练的采样方法提供了全面的分类体系，将这些方法分类为基于节点的采样、基于层的采样、基于子图的采样以及异构采样。它分析了这些方法的作用机制，比较了其优势与局限性，并指出了在可扩展性、硬件效率和深层GCN训练方面面临的关键挑战与未来研究方向。

ABSTRACT

Graph Convolutional Networks (GCNs) have received significant attention from various research fields due to the excellent performance in learning graph representations. Although GCN performs well compared with other methods, it still faces challenges. Training a GCN model for large-scale graphs in a conventional way requires high computation and storage costs. Therefore, motivated by an urgent need in terms of efficiency and scalability in training GCN, sampling methods have been proposed and achieved a significant effect. In this paper, we categorize sampling methods based on the sampling mechanisms and provide a comprehensive survey of sampling methods for efficient training of GCN. To highlight the characteristics and differences of sampling methods, we present a detailed comparison within each category and further give an overall comparative analysis for the sampling methods in all categories. Finally, we discuss some challenges and future research directions of the sampling methods.

研究动机与目标

• 解决使用全批量方法在大规模图上训练GCNs时面临的高计算与存储成本问题。
• 基于采样机制，对现有采样方法进行分类与系统性分析。
• 突出不同采样策略在效率、可扩展性与性能之间的权衡。
• 识别采样方法在GCNs中的开放性挑战，并提出未来研究方向，包括硬件感知设计与异构图建模。
• 通过系统性的方法论洞察，支持可扩展、高效且深层的GCN训练发展。

提出的方法

• 根据采样机制，将采样方法划分为四类：基于节点的采样、基于层的采样、基于子图的采样以及异构采样。
• 通过分析采样策略、聚合机制与计算效率，对每一类方法进行深入剖析。
• 采用归纳偏差、可扩展性与特征保留等标准，对各类内部方法进行比较。
• 对所有类别进行整体性比较，以突出其相对优势与局限性。
• 提出硬件友好的采样方法，利用GPU、FPGA及异构加速器等平台特性。
• 建议通过保持类型平衡与建模复杂关系，将采样方法扩展至异构图。

实验结果

研究问题

• RQ1 在效率、可扩展性与性能方面，基于节点的采样、基于层的采样、基于子图的采样以及异构采样等不同采样机制有何差异？
• RQ2 在GCN训练中，采样精度与计算成本之间的关键权衡是什么？
• RQ3 如何针对特定硬件平台优化采样方法以提升训练效率？
• RQ4 在将现有采样方法应用于异构图时会遇到哪些挑战，如何解决？
• RQ5 是否可以设计采样策略以缓解深层GCNs中的过平滑问题，若可以，具体方法是什么？

主要发现

• 基于子图的采样方法通过减少每批次的节点与边数量，在大规模图上实现了更好的可扩展性与性能。
• 基于节点与基于层的采样方法在中小型图上更高效，但在大规模图上可扩展性较差。
• 异构采样方法对于建模知识图谱与学术网络等复杂现实世界图至关重要，因为这些图中节点与边的类型各不相同。
• 硬件感知采样可显著加速采样阶段，而该阶段正日益成为大规模GCN训练的瓶颈。
• 能够保持特征多样性并避免过平滑的采样方法，对实现深层GCN架构至关重要。
• 结合多种采样策略的统一框架，可在不同图类型与规模下提升性能与泛化能力。