[论文解读] Outperforming Word2Vec on Analogy Tasks with Random Projections

Abram Demski, Volkan Ustun+2 more|arXiv (Cornell University)|Dec 20, 2014

Topic Modeling参考文献 11被引用 3

一句话总结

本文提出了一种基于随机投影的简单非神经网络向量表示方法，其在类比任务上的表现优于Word2Vec。通过求和随机向量及其逐点乘积，该方法在无需训练、矩阵分解或卷积操作的情况下实现了最先进性能，有效利用随机投影实现降维。

ABSTRACT

We present a distributed vector representation based on a simplification of the BEAGLE system, designed in the context of the Sigma cognitive architecture. Our method does not require gradient-based training of neural networks, matrix decompositions as with LSA, or convolutions as with BEAGLE. All that is involved is a sum of random vectors and their pointwise products. Despite the simplicity of this technique, it gives state-of-the-art results on analogy problems, in most cases better than Word2Vec. To explain this success, we interpret it as a dimension reduction via random projection.

研究动机与目标

• 开发一种简单、非神经网络的分布式向量表示方法，避免复杂的训练过程。
• 与现有方法（如Word2Vec和LSA）相比，提升在类比任务上的性能。
• 探究随机投影是否可作为词表示的有效降维技术。
• 消除词嵌入学习中对基于梯度的优化、矩阵分解或卷积操作的需求。

提出的方法

• 该方法将词向量构建为随机向量及其逐点乘积的和。
• 每个词通过无学习过程的随机投影形成固定大小的向量。
• 该技术依赖于随机投影的统计特性以保留语义结构。
• 该过程中未使用反向传播、矩阵分解或卷积层。
• 最终表示完全基于随机初始化和逐元素运算得出。
• 该方法受BEAGLE系统启发，但已简化以去除复杂组件。

实验结果

研究问题

• RQ1 基于随机投影的简单非神经网络方法是否能在类比任务上超越基于神经网络的模型（如Word2Vec）？
• RQ2 随机投影是否可有效作为词表示的降维技术？
• RQ3 一种避免基于梯度训练和矩阵分解的方法在语义类比任务上的表现如何？
• RQ4 随机向量及其逐点乘积的和与现有词嵌入技术相比表现如何？

主要发现

• 所提方法在类比任务上实现了最先进结果，在大多数情况下优于Word2Vec。
• 该方法无需任何训练、矩阵分解或卷积操作。
• 性能归因于随机投影在保留语义关系方面的有效性。
• 该方法的简洁性——仅基于随机向量及其乘积——带来了强劲的实证结果。