[论文解读] Paper-author bipartite graph from Semantic Scholar

Michaël Defferrard, Stefania Ebli+1 more|arXiv (Cornell University)|Oct 7, 2020

Topological and Geometric Data Analysis参考文献 27被引用 57

一句话总结

Simplicial Neural Networks (SNNs) 将图神经网络推广到嵌入单纯复的数据，并使用低次数多项式谱滤波器进行局部卷积；通过实验在合著网络复中对缺失引用进行填充。

ABSTRACT

Paper-author bipartite graph created from Semantic Scholar's Open Research Corpus, version 2018-05-03. Vertices are papers (39,219,709 of them) in one part and authors (12,862,455 of them) in the other. A paper is connected to all its co-authors, and an author is connected to all the papers they wrote, leading to 139,268,795 edges. A citation count (the number of times the paper was cited) is available for each paper (from 0 to 37,230 citations per paper).

研究动机与目标

• 激发对超越成对边的高阶关系数据进行学习。
• 提出一个基于 coboundary/Laplacian 算子、用于在单纯复上定义局部卷积的单纯神经网络框架。
• 在由 Semantic Scholar 数据构建的合著复合结构上展示该方法用于缺失数据填充的效果。
• 探索在不同合著复合结构间学习到的滤波器的可转移性。

提出的方法

• 将数据建模为有限单纯复 K 上的 p-共边链并定义 coboundary 映射 delta^p。
• 使用 delta 及其伴随构造度为 p 的单纯拉普拉斯算子 L_i = L_i^up + L_i^down。
• 将单纯卷积定义为 F_p^{-1}(F_p(c) F_p(c'))，其中 F_p 基于 L_p 的特征向量。
• 将卷积滤波器限定为拉普拉斯特征值的低次数多项式，以确保局部性以及高效、稀疏的计算（sum W_i L_p^i）。
• 实现多层网络（例如 3 层、30 个滤波器、N=5），使用 Adam 进行训练以对缺失的共链值进行填充。
• 在来自 Semantic Scholar Open Research Corpus 的合著复合 CC1 和 CC2 上进行实验，在不同缺失率下对缺失的 k-共链 (k=0,1,2) 进行填充。

实验结果

研究问题

• RQ1 SNNs 是否能够有效地从单纯复中编码的高阶关系学习？
• RQ2 低次数多项式谱滤波器是否能在单纯复上提供有效的局部卷积？
• RQ3 SNNs 在合著复合结构中的缺失数据填充效果如何，与简单基线相比如何？
• RQ4 学习得到的滤波器是否能在不同的合著复合结构之间转移？
• RQ5 SNNs 在捕捉超越图的数据的拓扑结构方面的潜力如何？

主要发现

• SNNs 超过通过简单方法或邻域平均值来填充缺失值的基线。
• 在 CC1 上有 30% 缺失引用时，所报告的基线的误差显著高于 SNNs（如表 1 汇总所示）。
• 在 CC2 上训练的 SNNs 在对 CC1 进行填充时几乎能达到在 CC1 上训练的 SNNs 的性能，表明学习到的滤波器在相似的合著结构之间具有可转移性。
• 该方法表明基于谱的、在单纯复上局部化的卷积可以被学习并应用于高阶数据。
• 研究提供定性与定量证据，表明接近零误差的填充在 SNN 预测中集中在零误差附近。