[论文解读] Neural Embeddings of Graphs in Hyperbolic Space

Benjamin Paul Chamberlain, James R. Clough+1 more|arXiv (Cornell University)|May 29, 2017

Advanced Graph Neural Networks参考文献 16被引用 59

一句话总结

本文通过一种超双曲 Skipgram 模型在超曲空间中引入神经图嵌入，在若干现实网络中相较于欧几里得嵌入在顶点归属任务上取得了改进。

ABSTRACT

Neural embeddings have been used with great success in Natural Language Processing (NLP). They provide compact representations that encapsulate word similarity and attain state-of-the-art performance in a range of linguistic tasks. The success of neural embeddings has prompted significant amounts of research into applications in domains other than language. One such domain is graph-structured data, where embeddings of vertices can be learned that encapsulate vertex similarity and improve performance on tasks including edge prediction and vertex labelling. For both NLP and graph based tasks, embeddings have been learned in high-dimensional Euclidean spaces. However, recent work has shown that the appropriate isometric space for embedding complex networks is not the flat Euclidean space, but negatively curved, hyperbolic space. We present a new concept that exploits these recent insights and propose learning neural embeddings of graphs in hyperbolic space. We provide experimental evidence that embedding graphs in their natural geometry significantly improves performance on downstream tasks for several real-world public datasets.

研究动机与目标

• 激发在它们天然的非欧几里得几何中对图进行嵌入。
• 开发 Skipgram 嵌入框架在超曲空间的类比/等价形式。
• 展示在真实世界网络的顶点归属任务中的性能提升。

提出的方法

• 在 Skipgram 中用两个 Poincaré 碟替代欧几里得向量空间以在超曲空间中嵌入图。
• 使用超曲内积和 softmax（带负采样）来从输入顶点预测上下文顶点。
• 在自然的超曲坐标中推导反向传播更新，并在训练后映射回到 Poincaré 碟。
• 通过对图的随机游走训练嵌入，以像 DeepWalk 一样创建输入-上下文对。
• 在若干数据集上使用宏F1对顶点归属任务评估嵌入。

实验结果

研究问题

• RQ1 在超曲空间中对图进行嵌入是否能提高相对于欧几里得嵌入的顶点归属性能？
• RQ2 在超曲几何中如何将 Skipgram 风格的训练进行公式化和优化？
• RQ3 超曲嵌入是否揭示或增强现实网络中的社区结构和分类？

主要发现

• 在多个数据集的顶点归属任务中，超曲嵌入优于欧几里得 DeepWalk 嵌入。
• 二维超曲空间在可视化中提供清晰的社区结构（如 karate 网络），这是欧几里得嵌入所缺失的。
• 在不同数据集的不同标注数据比例下，超曲嵌入实现了更高的宏F1分数。
• 实验中观察到对自然层次结构和幂律结构网络的嵌入受益。