[论文解读] Symmetric Spaces for Graph Embeddings: A Finsler-Riemannian Approach

Federico López, Beatrice Pozzetti+3 more|arXiv (Cornell University)|Jun 9, 2021

Epigenetics and DNA Methylation被引用 2

一句话总结

本文提出了一种新颖的图嵌入框架，利用对称空间（特别是Siegel空间）结合Finsler度量，并在黎曼优化框架内进行。通过利用对称空间丰富的几何结构，该方法能更好地捕捉异构图特征（例如树状结构和网格结构），在合成数据集和真实世界数据集上的图重构、节点分类和推荐系统任务中，优于欧氏空间、双曲空间、乘积空间和SPD基线方法。

ABSTRACT

Learning faithful graph representations as sets of vertex embeddings has become a fundamental intermediary step in a wide range of machine learning applications. We propose the systematic use of symmetric spaces in representation learning, a class encompassing many of the previously used embedding targets. This enables us to introduce a new method, the use of Finsler metrics integrated in a Riemannian optimization scheme, that better adapts to dissimilar structures in the graph. We develop a tool to analyze the embeddings and infer structural properties of the data sets. For implementation, we choose Siegel spaces, a versatile family of symmetric spaces. Our approach outperforms competitive baselines for graph reconstruction tasks on various synthetic and real-world datasets. We further demonstrate its applicability on two downstream tasks, recommender systems and node classification.

研究动机与目标

• 解决现有图嵌入方法假设统一几何结构（如欧氏空间或常曲率空间）的局限性，这类方法无法有效捕捉同时包含树状与网格状等混合结构特征的图。
• 提出一种统一的图表示学习框架，利用对称空间——一类具有丰富对称性与复合几何结构的黎曼流形——自然容纳多样的子结构。
• 在Siegel空间上引入Finsler度量，使其在欧氏子空间上诱导出ℓ1和ℓ∞范数，从而实现对不同图组件的灵活适应。
• 通过Takagi分解与Cayley变换实现自动微分的距离计算，从而在Siegel空间上实现黎曼优化。
• 提供一种向量值距离函数，用于嵌入图的结构分析，揭示其几何对称性与子图特征。

提出的方法

• 将Siegel空间——具有非正曲率的矩阵值对称空间——作为嵌入的环境流形，其推广了双曲平面，并包含与SPD矩阵及双曲平面乘积同构的子流形。
• 在Siegel空间上采用Finsler度量，使其在平坦子空间上诱导出ℓ1与ℓ∞范数，从而灵活适应多样的图几何结构。
• 通过Takagi分解与Cayley变换推导出可自动微分的距离计算方法，实现大规模图上的高效黎曼优化。
• 应用黎曼优化（如黎曼随机梯度下降）通过最小化基于测地线距离的重构损失来学习顶点嵌入。
• 为每对节点引入一种向量值距离函数 (v1, v2)，其中 v1 与 v2 代表Finsler度量的分量，用于可视化与分析图的结构特性。
• 基于从根节点出发的向量值距离的比值 v2/v1 对节点进行着色，以推断累积的角偏差，揭示图中的对称性与层次结构。

实验结果

研究问题

• RQ1 对称空间能否作为图表示学习的统一几何框架，相较于现有的常曲率空间或乘积空间方法，更优地处理混合几何结构的图（如分层树状结构与平坦网格结构）？
• RQ2 与标准黎曼度量或欧氏空间中的ℓp范数相比，Siegel空间上的Finsler度量在图嵌入保真度方面有何改进？
• RQ3 在对称空间上，向量值距离函数在多大程度上能够揭示嵌入图中的结构特征，如对称性、层次结构与子图几何？
• RQ4 将Finsler度量与黎曼优化结合，是否能在图重构、节点分类与推荐系统等下游任务中实现更优性能？
• RQ5 在重建精度与结构保持方面，结合Finsler度量的Siegel空间能否超越既有的基线方法（如双曲空间、欧氏空间、SPD空间、笛卡尔积）？

主要发现

• 在所有测试的合成数据集与真实世界数据集上，结合Finsler度量的Siegel空间在图重构任务中全面优于所有基线方法（包括欧氏空间、双曲空间、笛卡尔积与SPD空间）。
• 在5×5网格数据集中，Finsler度量（SF∞₂ 与 SF₁₂）均匀保持了边的夹角，表明其具有更优的测地线结构与对称性；而黎曼度量（SR₂）则表现出失真与夹角不一致现象。
• 在TREE × GRID数据集中，SF₁₃实现了100.00的mAP与2.02±0.02的Davg，显著优于SR₃（mAP 99.54，Davg 13.26±0.01）与BF₁₃（mAP 79.21，Davg 1.13±0.03）。
• 在TREE × TREE数据集中，SF₁₃实现了100.00的mAP与1.84±0.02的Davg，表明实现了近乎完美的重构；而BF∞₃实现了96.66的mAP与4.74±0.00的Davg。
• 在节点分类与推荐系统任务中，所提方法在真实世界数据集上超越了具有竞争力的基线方法，显示出强大的泛化能力与下游性能。
• 通过向量值距离着色的可视化分析表明，Finsler度量在保持图对称性以及区分平坦与分层结构方面，优于黎曼度量。