[论文解读] Representation Tradeoffs for Hyperbolic Embeddings

Christopher De, Albert Gu+2 more|arXiv (Cornell University)|Apr 10, 2018

Guidance and Control Systems被引用 188

一句话总结

本文提出用于树的组合超曲线嵌入，失真接近完美，扩展到一般数据的超曲线 MDS (h-MDS) 与 PGA，并在低维下展示强大的 WordNet MAP 表现，以及一个基于 PyTorch 的实现。

ABSTRACT

Hyperbolic embeddings offer excellent quality with few dimensions when embedding hierarchical data structures like synonym or type hierarchies. Given a tree, we give a combinatorial construction that embeds the tree in hyperbolic space with arbitrarily low distortion without using optimization. On WordNet, our combinatorial embedding obtains a mean-average-precision of 0.989 with only two dimensions, while Nickel et al.'s recent construction obtains 0.87 using 200 dimensions. We provide upper and lower bounds that allow us to characterize the precision-dimensionality tradeoff inherent in any hyperbolic embedding. To embed general metric spaces, we propose a hyperbolic generalization of multidimensional scaling (h-MDS). We show how to perform exact recovery of hyperbolic points from distances, provide a perturbation analysis, and give a recovery result that allows us to reduce dimensionality. The h-MDS approach offers consistently low distortion even with few dimensions across several datasets. Finally, we extract lessons from the algorithms and theory above to design a PyTorch-based implementation that can handle incomplete information and is scalable.

研究动机与目标

• 理解为什么双曲空间能够高效表示分层数据，以及维度、精度和图结构之间的权衡。
• 提出一个组合型两阶段嵌入(树结构再到双曲空间)并给出形式化的失真保证。
• 推广到对任意距离矩阵的超曲线 MDS，并分析中心化与重建。
• 引入基于 PGA 的超曲线空间降维，并给出优化保证。
• 提供一个可扩展的基于 PyTorch 的实现，处理不完整信息。

提出的方法

• 两阶段组合构造：(i) 将图嵌入到带权树中；(ii) 使用 Sarkar 的方法将树嵌入到双曲圆盘，使用一个缩放因子来控制失真。
• 将 Sarkar 算法扩展到高维，使用 H_r，在超球面或超立方体顶点放置子节点，并以球面编码引导以最大化分离。
• 分析精度要求：位数随最长路径长度和度数的增长而线性扩展，并给出给定失真的比特下界。
• 超曲线 MDS（h-MDS）：通过伪欧几里得均值对双曲嵌入进行中心化；在双曲面模型中化简为类似 PCA 的分解。
• 算法 2 通过将距离矩阵变换为 cosh(d) 并对 -Y 进行 PCA 来恢复 X，且可选的中心化。
• 主测地线分析（PGA）：在通过均值的测地线上进行优化，以最小化超曲线距离误差，在局部凸性条件下给出收敛保证。
• 提供一个基于 SGD 的 PyTorch 的 PGA 算法，适用于嘈杂或不完整的数据。

实验结果

研究问题

• RQ1 树和类树图的超曲线嵌入中的精度与维度权衡是什么？
• RQ2 是否存在一种组合型、非优化驱动的嵌入在超曲线空间中实现低失真，并且其规模如何随图属性变化？
• RQ3 如何通过超曲线 MDS 将嵌入技术推广到任意度量空间，以及有哪些重建保证？
• RQ4 在带噪声的情况下，如何在超曲线空间中进行降维（PGA）并给出收敛保证？
• RQ5 存在哪些可扩展、实用的实现，用于处理不完整或嘈杂的超曲线嵌入？

主要发现

• 该组合嵌入在无需优化的情况下就能实现树的任意低失真；WordNet 的 MAP 在 2 维下达到 0.989。
• 所需精度（比特数）随最长路径长度和最大度数的对数尺度增长，指示了在长链结构中超低维嵌入的极限。
• 超曲线 MDS（h-MDS）可以通过使用伪欧几里得均值进行中心化，从距离中恢复超曲线坐标，并简化为类似 PCA 的问题。
• 在超曲线空间中的 PGA 为在特定局部凸性条件下实现低维嵌入提供了路径，并具有收敛保证。
• 基于 SGD 的 PyTorch 实现中的可学习缩放因子可提升嵌入质量；而超曲线空间并非尺度不变，这影响设计选择。
• 在 WordNet 中，论文报告了比之前工作更高的 MAP，且维度显著更低（2D 与 200D 对比）。