[论文解读] Word, graph and manifold embedding from Markov processes

Tatsunori Hashimoto, David Alvarez-Melis+1 more|arXiv (Cornell University)|Sep 18, 2015

Topic Modeling参考文献 27被引用 6

一句话总结

本文通过将词、图和流形嵌入统一为马尔可夫过程中共现统计的度量恢复问题，提出了一种统一的框架。该框架引入了一种直接回归方法用于嵌入学习，展示了在语义任务（包括类比、序列补全和分类）中的优异性能，并从理论上将图和流形上的随机游走与潜在度量联系起来，基于共现统计。

ABSTRACT

Continuous vector representations of words and objects appear to carry surprisingly rich semantic content. In this paper, we advance both the conceptual and theoretical understanding of word embeddings in three ways. First, we ground embeddings in semantic spaces studied in cognitive-psychometric literature and introduce new evaluation tasks. Second, in contrast to prior work, we take metric recovery as the key object of study, unify existing algorithms as consistent metric recovery methods based on co-occurrence counts from simple Markov random walks, and propose a new recovery algorithm. Third, we generalize metric recovery to graphs and manifolds, relating co-occurence counts on random walks in graphs and random processes on manifolds to the underlying metric to be recovered, thereby reconciling manifold estimation and embedding algorithms. We compare embedding algorithms across a range of tasks, from nonlinear dimensionality reduction to three semantic language tasks, including analogies, sequence completion, and classification.

研究动机与目标

• 将词嵌入建立在认知-心理测量语义空间之上，并将评估范围从类比扩展至序列补全和分类任务。
• 将词嵌入重新定义为从马尔可夫随机游走中共现计数中恢复度量的问题，通过一致的理论基础统一现有算法。
• 通过将随机游走共现与潜在几何结构关联，将度量恢复从词推广至图和流形。
• 提出并评估一种基于对数共现计数的直接回归方法，用于学习词嵌入。
• 在多样化的自然语言处理任务中实证验证该框架，证明其在语义推理基准测试中的鲁棒性能。

提出的方法

• 将词共现建模为具有潜向量空间中欧氏距离指数衰减过渡概率的马尔可夫随机游走。
• 利用大数定律证明，对数共现比率渐近收敛于受温度参数缩放的平方欧氏距离。
• 提出一种直接回归方法，通过回归对数共现计数来估计词向量，避免对共现矩阵进行分解。
• 通过在图结构上建模随机游走并将共现频率与图测地距离关联，将度量恢复框架扩展至图。
• 通过在连续流形上建模扩散过程，将框架推广至流形，并证明共现统计可恢复底层黎曼度量。
• 在类比、序列补全和分类任务中使用余弦相似度和L2相似度进行评估，采用标准基准数据集。

实验结果

研究问题

• RQ1 是否可以基于认知-心理测量任务（如序列补全和分类）对词嵌入进行有意义的评估，而不仅限于类比？
• RQ2 现有词嵌入算法在多大程度上可被统一到基于马尔可夫过程共现统计的度量恢复单一理论框架下？
• RQ3 基于对数共现计数的直接回归方法与基于矩阵分解的方法（如GloVe和word2vec）相比，在性能和一致性方面表现如何？
• RQ4 该度量恢复框架是否可从词推广至图和流形？在这些领域中是否保持理论一致性？
• RQ5 所提出的基于回归的嵌入方法在多样化的自然语言处理任务和数据集上的实证性能如何？

主要发现

• 所提出的基于回归的方法在Google类比基准测试中达到86.1%的准确率（余弦相似度），L2变体为85.6%，优于GloVe和SVD在此任务上的表现。
• 在序列补全任务中，回归方法分别取得58.0%（余弦）和55.6%（L2）的准确率，显著优于SVD和GloVe在相同基准上的表现。
• 在分类任务中，回归方法分别取得72.5%（余弦）和60.8%（L2）的准确率，展现出在语义推理任务中的强大泛化能力。
• 该框架成功推广至图和流形，表明图上随机游走和流形上扩散过程的共现计数可恢复底层几何度量。
• 该方法在多个数据集（GloVe、Wiki、W2V）上表现出一致性能，基于回归的嵌入在多个设置下于类比和分类任务中达到最先进结果。
• 理论分析证实，对数共现比率收敛于底层平方欧氏距离的缩放版本，为嵌入学习提供了严谨的理论基础。