[论文解读] Neighborhood Growth Determines Geometric Priors for Relational Representation Learning

Melanie Weber|arXiv (Cornell University)|Oct 12, 2019

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出一种组合方法，通过分析局部邻域增长速率，确定关系数据最优的几何嵌入空间——欧几里得、双曲或球面空间。该方法引入了3-正则得分（3-regular score），一种可扩展的、与维度无关的统计量，可在典型图上实现可证明正确的几何先验预测，且效率显著优于基于优化的方法。

ABSTRACT

The problem of identifying geometric structure in heterogeneous, high-dimensional data is a cornerstone of representation learning. While there exists a large body of literature on the embeddability of canonical graphs, such as lattices or trees, the heterogeneity of the relational data typically encountered in practice limits the applicability of these classical methods. In this paper, we propose a combinatorial approach to evaluating embeddability, i.e., to decide whether a data set is best represented in Euclidean, Hyperbolic or Spherical space. Our method analyzes nearest-neighbor structures and local neighborhood growth rates to identify the geometric priors of suitable embedding spaces. For canonical graphs, the algorithm's prediction provably matches classical results. As for large, heterogeneous graphs, we introduce an efficiently computable statistic that approximates the algorithm's decision rule. We validate our method over a range of benchmark data sets and compare with recently published optimization-based embeddability methods.

研究动机与目标

• 解决为异构、高维关系数据选择最合适几何嵌入空间（欧几里得、双曲或球面）的挑战。
• 克服基于优化的方法所存在的局限性，后者需要固定维度且计算成本高。
• 开发一种可扩展的组合替代方法，避免大规模优化与维度假设。
• 建立局部邻域增长速率与关系数据内在几何结构之间的直接联系。
• 在基准数据集上验证该方法，并与最先进可嵌入性技术进行比较。

提出的方法

• 将局部邻域增长速率作为几何先验的代理：指数增长表示双曲性，线性增长表示欧几里得性，次线性增长表示球面几何。
• 引入正则化步骤以确保节点度数均匀，从而实现在不同图邻域间对增长行为的一致比较。
• 提出3-正则得分——一种聚合图中所有局部增长信息的统计量，用于推断曲率符号（κ = +1, 0, -1），分别对应球面、欧几里得或双曲嵌入。
• 采用邻域半径 R ≥ 3 以确保可靠的增长速率估计，实验中使用 R=3 以保证可扩展性。
• 建立3-正则得分与离散黎曼曲率之间的理论联系，证明其在检测双曲结构方面的适用性。
• 采用局部化、可并行计算的策略，时间复杂度与平均邻域大小呈线性关系，从而实现对大规模图的可扩展性。

实验结果

研究问题

• RQ1 如何利用局部邻域增长速率推断关系数据的内在几何结构？
• RQ2 一种组合的、无需优化的方法能否可靠预测图最适合嵌入在欧几里得、双曲还是球面空间中？
• RQ3 3-正则得分在准确性和效率方面是否优于现有的基于曲率或基于优化的可嵌入性方法？
• RQ4 该方法在异构、真实世界图上的泛化能力如何，是否超越典型图类型？
• RQ5 3-正则得分与既有的离散曲率概念（如黎曼曲率）在可嵌入性预测方面有何关联？

主要发现

• 3-正则得分能正确预测典型图的几何先验：格点为欧几里得，树为双曲，环为球面。
• 在Facebook数据集上，该方法预测为双曲嵌入（sign(κ) = -1），并取得0.782的MAP，优于Gu等人的方法以及Nickel与Kiela的方法。
• 在CondMat数据集上，该方法预测为双曲嵌入，并取得0.799的MAP，显著优于基线方法。
• 在Cities数据集上，该方法预测为球面嵌入（sign(κ) = +1），并取得0.844的MAP，表明其在非分层数据上的优异表现。
• 在Cities数据集上，该方法实现D_avg = 0.039与MAP = 0.844，表明在双曲空间中畸变极低且检索准确率高。
• 3-正则得分在检测非负曲率方面优于离散黎曼曲率，表明其更适合用于模型空间选择。