[论文解读] Ultrahyperbolic Representation Learning

Marc T. Law, Jos Stam|arXiv (Cornell University)|Jul 1, 2020

Human Pose and Action Recognition被引用 4

一句话总结

本文提出了一种在具有非零常曲率的伪黎曼流形上的新型表示学习框架，通过允许不定度量张量，推广了双曲几何与球面几何。该框架提供了测地线距离的闭式表达式及优化的下降方向，使在此非欧几里得空间中实现有效的图表示学习成为可能。

ABSTRACT

In machine learning, data is usually represented in a (flat) Euclidean space where distances between points are along straight lines. Researchers have recently considered more exotic (non-Euclidean) Riemannian manifolds such as hyperbolic space which is well suited for tree-like data. In this paper, we propose a representation living on a pseudo-Riemannian manifold of constant nonzero curvature. It is a generalization of hyperbolic and spherical geometries where the nondegenerate metric tensor need not be positive definite. We provide the necessary learning tools in this geometry and extend gradient-based optimization techniques. More specifically, we provide closed-form expressions for distances via geodesics and define a descent direction to minimize some objective function. Our novel framework is applied to graph representations.

研究动机与目标

• 开发一种基于具有不定度量张量的非欧几里得流形的表示学习框架，推广双曲几何与球面几何。
• 通过为最小化目标函数定义下降方向，实现在该几何结构中的基于梯度的优化。
• 为所提出的流形中的测地线距离提供闭式表达式，以支持高效学习。
• 将该框架应用于图表示学习，展示其在结构化数据上的实用性。

提出的方法

• 本文提出一种具有非零常曲率的伪黎曼流形，其度量张量非退化但非正定。
• 利用流形的内在几何性质，推导出测地线距离的闭式表达式。
• 通过将黎曼优化推广至不定度量张量，定义了下降方向，确保优化过程的收敛性。
• 将标准优化技术（如梯度下降）扩展至非正定度量设定。
• 通过将节点嵌入超双曲空间，支持图结构数据的表示学习。
• 开发了理论工具以处理曲率影响，并在训练过程中保持数值稳定性。

实验结果

研究问题

• RQ1 具有不定度量张量的非欧几里得流形能否支持图结构数据的有效表示学习？
• RQ2 如何在具有非零常曲率的伪黎曼流形中计算测地线距离？
• RQ3 在非正定度几何时，可定义何种下降方向以支持优化？
• RQ4 所提出的框架在图表示学习任务中与现有双曲和欧几里得基线相比表现如何？
• RQ5 曲率与度量符号对所学表示的表达能力与泛化性能有何影响？

主要发现

• 所提出的框架实现了在具有非零常曲率的伪黎曼流形上的表示学习，统一推广了双曲与球面几何。
• 推导出测地线距离的闭式表达式，支持在流形中高效计算内在距离。
• 定义了适用于不定度量张量的下降方向，支持基于梯度的优化。
• 通过利用底层几何的曲率与符号，成功学习了图的表示。
• 该框架为超越正定黎曼流形的非欧几里得表示学习提供了统一的几何基础。