[论文解读] On the Interpretability and Evaluation of Graph Representation Learning

Αντωνία Γώγογλου, C. Bayan Bruss+1 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Graph Neural Networks参考文献 17被引用 5

一句话总结

本文提出了一种用于解释和评估图表示学习的框架，通过引入可解释性评分（Interpretability Score）来量化嵌入维度与节点内在（例如社区）和外在（例如节点标签）分组之间的对齐程度。结果表明，嵌入质量在不同任务和超参数下存在显著差异，链接预测与社区检测对维度设置的需求不同，凸显了超越标准基准进行多维评估的必要性。

ABSTRACT

With the rising interest in graph representation learning, a variety of approaches have been proposed to effectively capture a graph's properties. While these approaches have improved performance in graph machine learning tasks compared to traditional graph techniques, they are still perceived as techniques with limited insight into the information encoded in these representations. In this work, we explore methods to interpret node embeddings and propose the creation of a robust evaluation framework for comparing graph representation learning algorithms and hyperparameters. We test our methods on graphs with different properties and investigate the relationship between embedding training parameters and the ability of the produced embedding to recover the structure of the original graph in a downstream task.

研究动机与目标

• 为解决图表示学习的黑箱问题，实现对学习到的节点嵌入的可解释性。
• 开发一种稳健的多维评估框架，以跨多种图属性和下游任务评估嵌入质量。
• 研究超参数（如嵌入维度）如何影响表示学习恢复图结构和语义信息的能力。
• 确定是否存在一种单一的嵌入方法或超参数设置，可在所有任务中实现最佳性能。

提出的方法

• 基于每个嵌入维度中顶部/底部 k 个值与预定义节点组（如社区或标签）之间的重叠，提出一种基于集合交集比率的可解释性评分（IS）：$IS_{top(d,l)} = \frac{|C_l \cap top_k(E_d)|}{|C_l|} \times 100$。
• 使用最大值或平均值聚合各维度（按组）或各组（按维度）的 IS 评分，以评估整体可解释性。
• 采用基于随机游走的模型（如通过 Gensim 实现的 word2vec）在三个数据集（Brand Level Merchants、BlogCatalog 和 Flickr）上生成节点嵌入。
• 在三个下游任务上评估嵌入性能：二分类/多分类节点分类、社区检测（Louvain 算法）和链接预测（AUC 指标）。
• 在所有数据集中采用统一的评估流程与一致的超参数设置，以隔离嵌入维度的影响。

实验结果

研究问题

• RQ1 单个嵌入维度在多大程度上编码了关于节点组的有意义的结构或语义信息？
• RQ2 嵌入维度如何影响社区检测、节点分类和链接预测等不同下游任务的性能表现？
• RQ3 可解释性评分能否预测嵌入在下游任务中的有效性？
• RQ4 是否存在一个单一的最优嵌入维度，使其在所有任务中均表现良好，还是性能因任务和图结构而异？

主要发现

• 可解释性评分显示，特定嵌入维度与特定节点社区或标签存在强关联，表明实现了解耦的表示学习。
• 在 Brand Level Merchants 和 BlogCatalog 数据集中，社区检测性能在较低维度（如 D=10）时达到峰值，而链接预测性能则随维度升高（如 D=128）而提升。
• 在 Flickr 数据集中，链接预测 AUC 在不同维度下保持稳定（≈0.96），但社区检测性能差异显著，D=128 时 F1 值最高。
• 在 BlogCatalog 中，外部节点分类性能随维度增加而提升，但在其他数据集中则趋于平稳或下降，表明最优设置具有任务与图结构依赖性。
• 仅靠链接预测或节点分类无法全面反映嵌入质量；社区检测等结构性任务能提供关于表示质量的互补性洞察。
• 本研究表明，仅针对单一目标（如链接预测）进行优化，可能无法为所有下游任务提供最优表示，因此需要多轴评估。