[论文解读] Sketching Word Vectors Through Hashing

Behrang QasemiZadeh, Laura Kallmeyer|arXiv (Cornell University)|May 11, 2017

Music and Audio Processing参考文献 52被引用 4

一句话总结

本文提出了一种快速、低复杂度的方法，通过基于哈希的随机投影来学习词向量，其中上下文词通过哈希分配到随机桶中，词向量则通过统计这些桶的共现次数构建。该方法在下游自然语言处理任务中的性能与基于神经网络的方法（如GloVe和CBOW）相当，同时显著更快，计算量也小得多。

ABSTRACT

We propose a new fast word embedding technique using hash functions. The method is a derandomization of a new type of random projections: By disregarding the classic constraint used in designing random projections (i.e., preserving pairwise distances in a particular normed space), our solution exploits extremely sparse non-negative random projections. Our experiments show that the proposed method can achieve competitive results, comparable to neural embedding learning techniques, however, with only a fraction of the computational complexity of these methods. While the proposed derandomization enhances the computational and space complexity of our method, the possibility of applying weighting methods such as positive pointwise mutual information (PPMI) to our models after their construction (and at a reduced dimensionality) imparts a high discriminatory power to the resulting embeddings. Obviously, this method comes with other known benefits of random projection-based techniques such as ease of update.

研究动机与目标

• 开发一种简单、高效的神经网络基词表示学习替代方法，避免复杂的优化过程。
• 探索通过哈希实现的随机投影是否能够捕捉词共现中的语言学上有意义的分布模式。
• 在内在（如词相关性）和外在（如情感分类）自然语言处理任务中评估该方法的性能。
• 证明与现有方法相比，该方法在计算成本和内存使用上显著降低，同时仍能取得具有竞争力的结果。

提出的方法

• 通过哈希函数将每个上下文词分配到随机桶中，具体为哈希码对所需向量维度 $ m $ 取模。
• 对于每个词 $ w $，算法初始化一个大小为 $ m $ 的零向量，然后对每个与 $ w $ 共现的上下文词 $ c $，将索引 $ d = \text{abs}(\text{hash}(c) \mod m) $ 对应的分量加一。
• 该方法利用乘法对加法的分配性质，将该过程建模为通过随机投影实现的降维形式。
• 所使用的哈希函数为Jenkins哈希，因其在短词上具有较低的冲突率和优良的分布特性而被选中。
• 向量构建完成后，应用PPMI加权以归一化频率并增强判别能力，从而提升下游任务的性能。
• 该算法高度可并行化且适合流式处理，支持高效的在线更新和分布式计算，无需求解优化问题。

实验结果

研究问题

• RQ1 一种简单的基于哈希的随机投影方法是否能在内在和外在评估中生成与最先进神经网络方法相媲美的词向量？
• RQ2 在下游自然语言处理任务（如句子级情感分类）中，该方法与GloVe和CBOW相比表现如何？
• RQ3 与传统的共现计数和神经网络训练相比，该方法在计算成本和内存使用上减少了多少？
• RQ4 在所提出的框架中，PPMI加权是否显著提升了所学词向量的质量？
• RQ5 在不同神经网络架构中，向量维度对所提方法性能的影响如何，与CBOW和GloVe相比如何？

主要发现

• 在大型电影评论数据集的外在评估中，该方法优于GloVe，在使用1000维向量表示和CNN模型时，F1得分为86.54。
• 在1000维向量下，该方法在CNN模型中优于CBOW（F1分别为86.54 vs. 85.14），尽管在低维情况下CBOW在RNN模型中仍占优。
• 该方法比随机索引快得多，每个共现仅需一次加法操作，而随机索引至少需要两次操作。
• 对于6000个词的词汇表，PPMI加权向量可在数秒内计算完成，而同一任务在高维计数模型中需耗时数小时。
• 与传统共现计数相比，该方法所需内存更少，因为它不存储精确的词-词计数，仅存储桶计数。
• 尽管避免了优化过程，该方法在内在和外在评估中仍能取得与GloVe和CBOW相媲美的性能，证明了其鲁棒性和高效性。