[论文解读] The Multiscale Laplacian Graph Kernel

Risi Kondor, Horace Pan|arXiv (Cornell University)|Mar 20, 2016

Advanced Graph Neural Networks参考文献 23被引用 78

一句话总结

本文提出了多尺度拉普拉斯图核（MLG），一种新颖的图核，通过递归地将特征空间拉普拉斯图核（FLG）应用于嵌套子图，以在多个尺度上捕捉结构相似性。MLG核在基准图数据集上实现了最先进性能，分类准确率优于现有核方法，同时通过随机投影RKHS算子保持了计算可行性。

ABSTRACT

Many real world graphs, such as the graphs of molecules, exhibit structure at multiple different scales, but most existing kernels between graphs are either purely local or purely global in character. In contrast, by building a hierarchy of nested subgraphs, the Multiscale Laplacian Graph kernels (MLG kernels) that we define in this paper can account for structure at a range of different scales. At the heart of the MLG construction is another new graph kernel, called the Feature Space Laplacian Graph kernel (FLG kernel), which has the property that it can lift a base kernel defined on the vertices of two graphs to a kernel between the graphs. The MLG kernel applies such FLG kernels to subgraphs recursively. To make the MLG kernel computationally feasible, we also introduce a randomized projection procedure, similar to the Nyström method, but for RKHS operators.

研究动机与目标

• 解决现有图核在真实图（如分子结构）中难以有效捕捉多尺度结构相似性的问题。
• 开发一种将顶点特征与拓扑结构以置换不变方式整合的核方法。
• 通过递归地将基础核应用于分层子图，设计一种计算高效的多尺度图比较方法。
• 通过引入RKHS算子的随机投影技术，使谱图方法在大规模图学习中具备实际可用性。

提出的方法

• 通过图拉普拉斯矩阵将顶点特征上的基础核提升为图级核，定义FLG核，从而联合利用特征信息与拓扑信息。
• MLG核通过递归地将FLG核应用于嵌套子图的分层结构，捕捉多尺度的结构关系。
• 提出一种随机投影方法，以近似拉普拉斯算子的RKHS算子，降低计算成本，同时保持核的性质。
• 通过构造确保核的置换不变性，从而保证对顶点标签和排序的不变性。
• 采用基础核（例如独热编码上的点积）对顶点特征进行编码，并通过拉普拉斯矩阵将特征与谱图属性相结合。
• 通过交叉验证对超参数（如层数、半径大小以及正则化参数η、γ）进行调优。

实验结果

研究问题

• RQ1 图核能否有效捕捉如分子等图在多尺度下的结构相似性？
• RQ2 如何以置换不变且计算高效的方式联合建模顶点特征与拓扑结构？
• RQ3 递归的多尺度方法是否能在基准分类任务中超越纯局部或全局图核？
• RQ4 正则化与核参数选择对MLG核性能有何影响？

主要发现

• 在六个基准数据集中的五个（包括MUTAG、PTC、ENZYMES、PROTEINS和NCI109）上，MLG核实现了最高的分类准确率。
• 在NCI1数据集上，MLG核达到81.75%的准确率，优于所有非Weisfeiler–Lehman核，并与该数据集上表现最佳的核方法持平。
• MLG分层结构的最优层数在所有数据集中均稳定为2或3层，表明更深的层次结构不会显著提升性能。
• 最优正则化参数η和γ通常为0.01或0.1，表明较小的取值已足以保持对结构差异的敏感性。
• 在最大数据集（NCI109）上的运行时间低于90分钟，证明尽管具有递归结构，仍具备计算可行性。
• MLG核在NCI1和NCI109上优于Weisfeiler–Lehman核，表明其具备更优的多尺度建模能力。