[论文解读] Skip-gram word embeddings in hyperbolic space

Matthias Leimeister, Benjamin J. Wilson|arXiv (Cornell University)|Aug 30, 2018

Topic Modeling参考文献 28被引用 24

一句话总结

本文提出了一种基于双曲面模型的双曲skip-gram模型，用于在双曲空间中学习词嵌入，基于双曲距离推导出基于梯度的优化目标函数。实验表明，在低维空间（如20D）下，双曲嵌入在词相似度和类比任务上优于欧几里得对应方法，但在高维空间中性能下降，并提出了在曲面空间中类比任务的修正公式。

ABSTRACT

Recent work has demonstrated that embeddings of tree-like graphs in hyperbolic space surpass their Euclidean counterparts in performance by a large margin. Inspired by these results and scale-free structure in the word co-occurrence graph, we present an algorithm for learning word embeddings in hyperbolic space from free text. An objective function based on the hyperbolic distance is derived and included in the skip-gram negative-sampling architecture of word2vec. The hyperbolic word embeddings are then evaluated on word similarity and analogy benchmarks. The results demonstrate the potential of hyperbolic word embeddings, particularly in low dimensions, though without clear superiority over their Euclidean counterparts. We further discuss subtleties in the formulation of the analogy task in curved spaces.

研究动机与目标

• 探究双曲空间是否能提升自然语言数据的词嵌入质量，特别是考虑到词共现图的层次结构和无标度特性。
• 基于双曲面模型，在双曲空间中开发一种可微的skip-gram词嵌入目标函数。
• 在标准NLP基准测试（如词相似度和类比任务）上评估双曲嵌入的性能。
• 解决将词类比任务推广至非欧几里得、负曲率流形（如双曲空间）的挑战。
• 探索双曲几何在分布语义和层次化语言结构建模中的潜力。

提出的方法

• 本文采用双曲空间的双曲面模型作为嵌入流形，将词向量参数化为具有特定二次型的闵可夫斯基空间中的点。
• 基于目标词与上下文词之间的双曲距离推导损失函数，并将其适配至skip-gram负采样框架。
• 使用黎曼优化计算梯度更新，通过对数映射和并行移动获得切向量，以保持几何一致性。
• 通过测地线路径重新定义类比任务：给定A:B = C:D，模型通过从点C处并行移动向量Log_A(B)来计算点D。
• 使用随机梯度下降与负采样进行训练，与原始word2vec类似，但增加了双曲几何约束。
• 作者在词相似度和Google类比数据集上，将性能与标准欧几里得skip-gram在多个维度（5、20、50、100）下进行对比。

实验结果

研究问题

• RQ1 双曲词嵌入是否能在标准NLP评估基准上超越欧几里得skip-gram模型？
• RQ2 双曲嵌入的性能如何随维度变化，特别是在低维空间中？
• RQ3 在双曲空间中，由于测地线路径不满足交换律，词类比任务的正确几何公式是什么？
• RQ4 词共现图的层次结构是否能从双曲空间的指数体积增长中受益？
• RQ5 与欧几里得替代方案相比，基于双曲距离的目标函数选择对学习有何影响？

主要发现

• 在维度20时，双曲词嵌入在Google类比数据集上的准确率（0.2251）高于欧几里得skip-gram（0.2089），表明在低维空间中性能有所提升。
• 在维度50时，双曲嵌入的性能低于欧几里得基线（0.3536 vs. 0.3866），表明在高维空间中性能下降。
• 双曲空间中的类比任务结果因路径不同而异（通过B或C），使用Log_A(B)的正确公式得到显著更优结果（0.2251），而替代方法结果较差（0.0365）。
• 最低维度（5）下，两种模型的性能均表现极差，准确率接近零，表明在极低维双曲空间中存在退化现象。
• 所提出的基于双曲距离的目标函数能够有效训练双曲空间中的词嵌入，尽管性能对维度和任务公式设定较为敏感。
• 研究证实，当数据表现出层次结构时，双曲几何在低维流形中对词嵌入具有潜在优势。