[论文解读] Word Embeddings via Tensor Factorization

Eric Bailey, Shuchin Aeron|arXiv (Cornell University)|Apr 10, 2017

Tensor decomposition and applications参考文献 34被引用 4

一句话总结

本文提出两种新颖的词嵌入方法，即 CP-S 与 JCP-S，基于三阶点互信息（PPMI）张量的对称张量分解，以捕捉高阶共现模式。该方法实现了词向量的乘法组合性，独特地为多义词的不同语义提供了不同的向量表示，并在语义任务和一种新型三阶评估指标（OD3）上优于基于矩阵的方法。

ABSTRACT

Most popular word embedding techniques involve implicit or explicit factorization of a word co-occurrence based matrix into low rank factors. In this paper, we aim to generalize this trend by using numerical methods to factor higher-order word co-occurrence based arrays, or extit{tensors}. We present four word embeddings using tensor factorization and analyze their advantages and disadvantages. One of our main contributions is a novel joint symmetric tensor factorization technique related to the idea of coupled tensor factorization. We show that embeddings based on tensor factorization can be used to discern the various meanings of polysemous words without being explicitly trained to do so, and motivate the intuition behind why this works in a way that doesn't with existing methods. We also modify an existing word embedding evaluation metric known as Outlier Detection [Camacho-Collados and Navigli, 2016] to evaluate the quality of the order-$N$ relations that a word embedding captures, and show that tensor-based methods outperform existing matrix-based methods at this task. Experimentally, we show that all of our word embeddings either outperform or are competitive with state-of-the-art baselines commonly used today on a variety of recent datasets. Suggested applications of tensor factorization-based word embeddings are given, and all source code and pre-trained vectors are publicly available online.

研究动机与目标

• 开发利用超越成对关系的高阶共现信息的词嵌入技术。
• 通过使用三阶张量，解决基于矩阵的方法仅建模二阶共现的局限性。
• 设计一种联合对称张量分解框架，整合二阶与三阶共现数据。
• 通过一种针对三阶信息的新指标，评估嵌入在捕捉复杂语义关系（尤其是多义性）方面的能力。
• 证明词向量的乘法组合可为多义词的不同语义生成语义上有意义的表示。

提出的方法

• 该方法从语料库构建一个对称、非负的三路 PPMI 张量，其中每个条目 m_ijk 表示三个词在上下文窗口中共同出现的 PPMI 值。
• 对张量应用对称的典型多态（CP）分解，以学习低秩词嵌入，同时保持数据的对称结构。
• 提出一种新的联合对称张量分解问题，通过共享因子矩阵对多个超对称张量进行分解，以联合建模二阶与三阶共现。
• 使用专为对称、非负张量设计的交替最小二乘算法训练嵌入。
• 该方法实现了词向量的乘法组合：v_i * v_j 近似表示在三元组上下文中与 i 和 j 同时共现的词的向量表示。
• 提出一种新的评估指标 OD3（异常检测 3），用于衡量词嵌入所捕捉的三阶语义关系的质量。

实验结果

研究问题

• RQ1 对三路共现数据进行张量分解，能否生成在语义 NLP 任务上优于基于矩阵的方法的词嵌入？
• RQ2 与仅使用成对数据相比，联合分解二阶与三阶共现张量是否能提升嵌入质量？
• RQ3 词向量的乘法组合能否为多义词的不同语义生成不同且语义上有意义的表示？
• RQ4 与基于矩阵的模型相比，基于张量的嵌入在捕捉高阶语义关系方面表现如何？
• RQ5 在使用如 OD3 这类新型评估指标时，捕捉三阶共现模式是否具有可测量的优势？

主要发现

• 在相同数据上训练时，所提出的 CP-S 与 JCP-S 嵌入在多个语义 NLP 任务上显著优于当前最先进的基于矩阵的方法（如 CBOW 和 GloVe）。
• 联合对称张量分解（JCP-S）方法有效结合了二阶与三阶共现信息，从而提升了性能。
• 新的 OD3 指标表明，基于张量的嵌入捕捉到的三阶语义信息显著多于基于矩阵的模型。
• 在 CP-S 与 JCP-S 中，词向量的乘法组合能为多义词的不同语义生成有意义的表示，例如 'star' 既可表示天体，也可表示表演者。
• 对于单词 'star'，v_star * v_actor 生成的向量最接近 'drama' 或 'award-winning'，反映出其作为 '表演者' 的语义；而 v_star * v_planet 最接近 'planet' 或 'galaxy'，反映出其作为 '天体' 的语义。
• 相比之下，CBOW 嵌入仅通过加法组合产生语义上有意义的结果，凸显了基于张量的嵌入在通过乘法组合建模多义性方面的独特优势。