[论文解读] Watch Your Step: Learning Graph Embeddings Through Attention.

Sami Abu-El-Haija, Bryan Perozzi+2 more|arXiv (Cornell University)|Oct 26, 2017

Advanced Graph Neural Networks参考文献 26被引用 21

一句话总结

该论文提出了一种可微分注意力机制，通过反向传播过渡矩阵的幂级数，学习图嵌入中随机游走的最优超参数。在多种真实世界图上，该方法将链接预测性能提升了20%至45%，且学习到的参数与人工调优的最优值一致。

ABSTRACT

Graph embedding methods represent nodes in a continuous vector space, preserving information from the graph (e.g. by sampling random walks). There are many hyper-parameters to these methods (such as random walk length) which have to be manually tuned for every graph. In this paper, we replace random walk hyper-parameters with trainable parameters that we automatically learn via backpropagation. In particular, we learn a novel attention model on the power series of the transition matrix, which guides the random walk to optimize an upstream objective. Unlike previous approaches to attention models, the method that we propose utilizes attention parameters exclusively on the data (e.g. on the random walk), and not used by the model for inference. We experiment on link prediction tasks, as we aim to produce embeddings that best-preserve the graph structure, generalizing to unseen information. We improve state-of-the-art on a comprehensive suite of real world datasets including social, collaboration, and biological networks. Adding attention to random walks can reduce the error by 20% to 45% on datasets we attempted. Further, our learned attention parameters are different for every graph, and our automatically-found values agree with the optimal choice of hyper-parameter if we manually tune existing methods.

研究动机与目标

• 通过学习最优随机游走参数，消除图嵌入方法中的手动超参数调优。
• 通过改善节点嵌入中的图结构保留，提升对未见链接的泛化能力。
• 开发一种仅在训练期间作用于随机游走的注意力机制，而非推理阶段。
• 证明学习到的注意力参数在多种图上与人工优化的超参数值保持一致。

提出的方法

• 该方法用可学习的注意力参数替代固定的随机游走超参数，以引导随机游走过程。
• 通过过渡矩阵的幂级数建模随机游走过程，实现可微分优化。
• 通过反向传播学习注意力权重，以优化上游链接预测目标。
• 注意力机制仅在训练期间应用，用于塑造游走轨迹，推理阶段不使用。
• 使用梯度下降端到端训练模型，以最小化链接预测损失。
• 该方法可泛化至多种图类型，包括社交网络、合作网络和生物网络。

实验结果

研究问题

• RQ1 注意力机制能否在无需手动调优的情况下，自动学习图嵌入中随机游走的最优超参数？
• RQ2 所提方法在链接预测任务上与最先进图嵌入模型相比性能如何？
• RQ3 当手动调优时，学习到的注意力参数是否与已知的最优超参数值一致？
• RQ4 该方法在多大程度上提升了对未见图结构的泛化能力？

主要发现

• 与最先进基线相比，该方法在多个真实世界数据集上将链接预测误差降低了20%至45%。
• 学习到的注意力参数具有图特异性，且始终与人工调优的最优超参数一致。
• 该模型在包括社交网络、合作网络和生物网络在内的多种图类型上均表现出良好的泛化能力。
• 注意力机制通过动态引导随机游走以保留结构信息，提升了嵌入质量。
• 该方法在不修改底层模型架构或推理流程的情况下实现了更优性能。
• 注意力参数仅在训练期间有效，确保推理阶段无运行时开销。