[论文解读] Tree! I am no Tree! I am a Low Dimensional Hyperbolic Embedding

Rishi Sonthalia, Anna C. Gilbert|arXiv (Cornell University)|May 8, 2020

Topological and Geometric Data Analysis参考文献 33被引用 5

一句话总结

本文提出 TreeRep，一种快速的度量优先算法，通过从 $δ$-双曲度量学习树结构，实现低维双曲嵌入。通过构建近似原始度量的树结构（当 $δ=0$ 时完全精确），TreeRep 在现有双曲嵌入方法上实现了超过 10,000 倍的速度提升，同时实现了更低的平均失真和更高的平均平均精度，从而实现了在基因组学、语言学和社会网络等大规模数据集上的可扩展分层分析。

ABSTRACT

Given data, finding a faithful low-dimensional hyperbolic embedding of the data is a key method by which we can extract hierarchical information or learn representative geometric features of the data. In this paper, we explore a new method for learning hyperbolic representations by taking a metric-first approach. Rather than determining the low-dimensional hyperbolic embedding directly, we learn a tree structure on the data. This tree structure can then be used directly to extract hierarchical information, embedded into a hyperbolic manifold using Sarkar's construction \cite{sarkar}, or used as a tree approximation of the original metric. To this end, we present a novel fast algorithm extsc{TreeRep} such that, given a $δ$-hyperbolic metric (for any $δ\geq 0$), the algorithm learns a tree structure that approximates the original metric. In the case when $δ= 0$, we show analytically that extsc{TreeRep} exactly recovers the original tree structure. We show empirically that extsc{TreeRep} is not only many orders of magnitude faster than previously known algorithms, but also produces metrics with lower average distortion and higher mean average precision than most previous algorithms for learning hyperbolic embeddings, extracting hierarchical information, and approximating metrics via tree metrics.

研究动机与目标

• 开发一种可扩展、高效的低维双曲嵌入学习方法，以保留数据中的分层结构。
• 解决现有基于非凸优化的双曲嵌入方法在几何保证不足和计算成本过高的问题。
• 证明先学习树结构再嵌入双曲空间，可实现更高的度量保真度和性能。
• 提供一种快速、具有分析基础的算法，近似 $δ$-双曲度量为树度量，尤其在 $δ=0$ 时完全精确。
• 使大规模数据集（如单细胞基因组学、社交网络）的分层分析成为可能，这些数据集此前因计算限制而无法处理。

提出的方法

• 采用度量优先方法：不直接优化双曲嵌入，而是学习一个近似输入 $δ$-双曲度量的树结构。
• 利用度量的几何洞察，基于距离三元组递归地放置斯坦纳节点（树的内部节点），利用四点条件实现 $δ$-双曲性。
• 应用两个递归区域：区域1根据一对点的最大距离，直接放置与斯坦纳节点相连的节点；区域2通过递归细化处理需要边收缩的节点。
• 通过迭代选择三个随机点，计算其两两距离，并利用格罗莫夫积确定新斯坦纳节点的最优位置，构建树结构。
• 使用 Sarkar 的构造方法将所得树嵌入双曲空间，保留分层结构并支持下游分析。
• 该算法为确定性算法，时间复杂度接近线性，其复杂度取决于点的数量和度量的双曲性参数 $δ$。

实验结果

研究问题

• RQ1 采用度量优先方法——即在双曲嵌入前先学习树结构——是否能产生比直接优化更优或更高效的双曲表示？
• RQ2 树结构在多大程度上能近似 $δ$-双曲度量，尤其是在 $δ=0$ 时？
• RQ3 与现有树近似和双曲嵌入算法相比，TreeRep 的计算性能提升如何？
• RQ4 在多种数据集上，TreeRep 是否在平均失真和平均平均精度方面优于最先进方法？
• RQ5 TreeRep 是否能扩展到大规模数据集（如 Enron，180,810 个节点）和 WordNet（75,834 个节点），而这些数据集此前因运行时间限制导致先前方法无法处理？

主要发现

• 当 $δ=0$ 时，TreeRep 可实现对原始树结构的精确恢复，证明了其在树近似度量下的分析正确性。
• 对于 $δ>0$ 的情况，TreeRep 生成的树度量平均失真显著低于竞争方法，例如在 WordNet 上的平均失真仅为 0.131，远低于 Saitou 和 Nei 的 0.336 以及 Abraham 等人的 0.607（Enron 数据集）。
• 与基于优化的双曲嵌入方法相比，TreeRep 的速度超过 10,000 倍，例如在 Celegan（2024 个节点）数据集上运行时间低于 1 秒，在 GRQC（13,422 个节点）数据集上低于 10 秒。
• 在 Enron 数据集（180,810 个节点）上，TreeRep 仅用 27 秒完成，而基于优化的方法因运行时间过长而不可行。
• TreeRep 的平均平均精度高于大多数先前方法，在 CS Phd 上达到 0.380，在 Dieseasome 上达到 0.332，优于 Saitou 和 Nei，且与或超过其他树近似算法。
• 该算法具有高效可扩展性：在 Grid-worm（6,421 个节点）上，TreeRep 仅用 0.731 秒完成，而其他方法无法完成或耗时过长。