[论文解读] Poincaré Embeddings for Learning Hierarchical Representations

Maximilian Nickel, Douwe Kiela|arXiv (Cornell University)|May 22, 2017

Advanced Graph Neural Networks参考文献 28被引用 171

一句话总结

论文提出在双曲几何（Poincaré ball）空间中学习嵌入，以同时捕捉层级性和相似性，在层级数据、网络和词汇蕴含方面相比欧几里得嵌入具有更好的性能。它引入用于训练的黎曼优化，并在 WordNet 分类法、协作网络和词汇蕴含任务上展示出强劲结果。

ABSTRACT

Representation learning has become an invaluable approach for learning from symbolic data such as text and graphs. However, while complex symbolic datasets often exhibit a latent hierarchical structure, state-of-the-art methods typically learn embeddings in Euclidean vector spaces, which do not account for this property. For this purpose, we introduce a new approach for learning hierarchical representations of symbolic data by embedding them into hyperbolic space -- or more precisely into an n-dimensional Poincaré ball. Due to the underlying hyperbolic geometry, this allows us to learn parsimonious representations of symbolic data by simultaneously capturing hierarchy and similarity. We introduce an efficient algorithm to learn the embeddings based on Riemannian optimization and show experimentally that Poincaré embeddings outperform Euclidean embeddings significantly on data with latent hierarchies, both in terms of representation capacity and in terms of generalization ability.

研究动机与目标

• 激发在符号数据中反映潜在层级的表征学习。
• 提出在双曲空间（Poincaré ball）嵌入对象，以更少的参数捕捉层级结构和相似性。
• 开发一种高效的黎曼优化算法，在 Poincaré ball 约束下训练嵌入。
• 展示在分类法、网络和词汇蕴含任务上的表示能力和泛化能力的提升。

提出的方法

• 将符号嵌入到 Poincaré ball Bd，距离 d(u,v) = arcosh(1 + 2||u−v||^2 / ((1−||u||^2)(1−||v||^2))).
• 用黎曼梯度和回投（Rθ(v) = θ + v）将欧几里得梯度按 Poincaré度量进行调整，优化损失 L(Θ)。
• 将嵌入约束在球内，投影为 proj(θ) = θ/||θ|| − ε，若 ||θ|| ≥ 1（ε = 1e-5）。
• 使用随机/小批量黎曼优化（RSGD/RSVRG）以及学习率较低的预热阶段，以稳定角度布局。
• 用观察到的层级的负采样目标（软排序）进行训练，并与欧几里得和平移基线进行比较。
• 在 WordNet 名词层级重建与链接预测、大型网络嵌入以及通过分级度量的词汇蕴含任务上进行评估。

实验结果

研究问题

• RQ1 对于具有潜在层级的数据，双曲几何是否能提供比欧几里得几何更简洁的分层嵌入？
• RQ2 由于其负曲率偏好，Poincaré嵌入是否提高了分类法和网络中的表示能力与泛化性？
• RQ3 Poincaré嵌入是否适用于需要在语言内部建模层级关系的词汇蕴含任务？
• RQ4 在大规模条件下，黎曼优化在训练这些双曲嵌入上的表现如何？

主要发现

• Poincaré嵌入在 WordNet 重建和链接预测中比欧几里得和 Translational 方法在相近或更低维度下实现更高的 MAP 和更低的平均秩。
• 在网络链接预测中，Poincaré嵌入在四个网络上超越了欧几里得嵌入，尤其是在低维度（如 AstroPh, CondMat, GrQc, HepPh）。
• 在评估分级的is-a关系时，Poincaré嵌入在词汇蕴含任务（HyperLex）上达到最先进的性能，超越了若干基于 WordNet 的基线。
• 双曲几何实现了用更少参数的强层级表示，提升泛化能力并对缺失数据更鲁棒。
• 通过带有 Poincaré ball 模型的黎曼优化方法可扩展到大规模数据集，并可有效并行化（例如 Hogwild）。