[论文解读] On Evaluation Metrics for Graph Generative Models

Rylee Thompson, B. A. Knyazev+3 more|arXiv (Cornell University)|Jan 24, 2022

Advanced Graph Neural Networks被引用 9

一句话总结

本论文提出了一种标量、领域无关且计算高效的图生成模型（GGMs）评估指标，利用未经训练的随机图神经网络（GNNs）提取图表示。作者引入了基于随机GNN的评估指标，其在衡量保真度与多样性方面优于现有方法，根据样本大小推荐两种指标，实现了跨领域的稳定模型排序。

ABSTRACT

In image generation, generative models can be evaluated naturally by visually inspecting model outputs. However, this is not always the case for graph generative models (GGMs), making their evaluation challenging. Currently, the standard process for evaluating GGMs suffers from three critical limitations: i) it does not produce a single score which makes model selection challenging, ii) in many cases it fails to consider underlying edge and node features, and iii) it is prohibitively slow to perform. In this work, we mitigate these issues by searching for scalar, domain-agnostic, and scalable metrics for evaluating and ranking GGMs. To this end, we study existing GGM metrics and neural-network-based metrics emerging from generative models of images that use embeddings extracted from a task-specific network. Motivated by the power of certain Graph Neural Networks (GNNs) to extract meaningful graph representations without any training, we introduce several metrics based on the features extracted by an untrained random GNN. We design experiments to thoroughly test metrics on their ability to measure the diversity and fidelity of generated graphs, as well as their sample and computational efficiency. Depending on the quantity of samples, we recommend one of two random-GNN-based metrics that we show to be more expressive than pre-existing metrics. While we focus on applying these metrics to GGM evaluation, in practice this enables the ability to easily compute the dissimilarity between any two sets of graphs regardless of domain. Our code is released at: https://github.com/uoguelph-mlrg/GGM-metrics.

研究动机与目标

• 为解决当前图生成模型（GGMs）评估缺乏单一、一致且可扩展的指标问题，这些模型目前依赖于多种未统一的统计量。
• 克服现有指标的局限性，包括缺乏特征整合、计算成本高以及对特定图统计量的依赖。
• 开发一种统一的标量评估框架，适用于多种领域，尤其适用于包含节点和边特征的图，如分子图。
• 基于保真度、多样性、样本效率和计算效率，对多种指标进行客观评估与排序。
• 证明未经训练的随机GNN能够提取有意义的表示用于GGM评估，从而实现图集之间的领域无关比较。

提出的方法

• 提出基于随机初始化GNN的特征激活的一系列评估指标，利用其在无需训练的情况下提取有意义表示的能力。
• 在GNN嵌入特征上使用RBF核的Maximum Mean Discrepancy（MMD）计算真实图集与生成图集之间的标量距离。
• 在多个数据集（如Grid、MOL、PROTEINS）和GGM（如GraphRNN、GRAN）的不同训练阶段，通过全面基准测试评估指标。
• 提出两种关键指标：一种基于GNN最后一层的特征，另一种使用所有层的全局平均池化，根据样本大小推荐使用。
• 通过保真度（F1 PR）、多样性（MMD）以及效率（计算时间与样本数量）进行客观评分，以对指标进行排序。
• 在 https://github.com/uoguelph-mlrg/GGM-metrics 发布代码，以支持可复现性与广泛采用。

实验结果

研究问题

• RQ1 未经训练的随机GNN能否作为有效特征提取器，以实现领域无关的图生成模型评估？
• RQ2 基于随机GNN特征的哪种标量指标在保真度、多样性与计算效率之间达到最佳平衡，适用于GGM评估？
• RQ3 与现有GGM评估指标相比，随机GNN基指标在表达能力与跨数据集一致性方面表现如何？
• RQ4 随机GNN基指标的性能是否依赖于生成图的数量？如果是，应如何据此选择合适的指标？
• RQ5 由于其泛化能力，这些指标是否可用于比较任意两组图，无论其所属领域？

主要发现

• 所提出的基于随机GNN的指标在客观评分下显著优于现有指标，在衡量生成图的保真度与多样性方面表现更优。
• 对于小样本量（<100张图），使用所有GNN层全局平均池化的指标在保真度与多样性之间达到最佳平衡，在Grid数据集上的F1 PR得分为0.995。
• 对于大样本量（>100张图），基于最后一层特征的指标表现更优，在Grid数据集上的F1 PR得分为1.0，并在其他基准测试中保持高分。
• 随机GNN基指标计算高效，100张图的评估时间低于1秒，适用于迭代模型训练的可扩展性需求。
• 这些指标在不同领域中表现稳健：在分子（MOL）、蛋白质（PROTEINS）和合成（Grid）数据集中均表现良好，证明其具备领域无关的适用性。
• 本研究发现，仅依赖图结构（如度数、聚类系数）的指标，或需要预训练的指标（如Fréchet ChemNet Distance），其表达能力与可扩展性均不如所提出的方法。