[论文解读] Simple and Effective Dimensionality Reduction for Word Embeddings

Vikas Raunak|arXiv (Cornell University)|Aug 11, 2017

Topic Modeling参考文献 9被引用 15

一句话总结

本文提出了一种简单但有效的方法，将后处理（PPA）与基于PCA的降维相结合，生成低维词嵌入。通过在PCA之前应用PPA，该方法将嵌入大小减少了50%，同时在12个词相似性基准测试中实现了与或优于更高维嵌入的性能。

ABSTRACT

Word embeddings have become the basic building blocks for several natural language processing and information retrieval tasks. Pre-trained word embeddings are used in several downstream applications as well as for constructing representations for sentences, paragraphs and documents. Recently, there has been an emphasis on further improving the pre-trained word vectors through post-processing algorithms. One such area of improvement is the dimensionality reduction of the word embeddings. Reducing the size of word embeddings through dimensionality reduction can improve their utility in memory constrained devices, benefiting several real-world applications. In this work, we present a novel algorithm that effectively combines PCA based dimensionality reduction with a recently proposed post-processing algorithm, to construct word embeddings of lower dimensions. Empirical evaluations on 12 standard word similarity benchmarks show that our algorithm reduces the embedding dimensionality by 50%, while achieving similar or (more often) better performance than the higher dimension embeddings.

研究动机与目标

• 解决预训练词嵌入的高内存占用问题，尤其是在内存受限设备上。
• 通过在降维前进行后处理，提升词嵌入的质量和判别能力。
• 开发一种降维技术，在维度减半的同时保持或提升语义性能。
• 证明低维嵌入在下游任务中可优于或匹配高维嵌入。

提出的方法

• 应用[9]中的后处理算法（PPA），从预训练词嵌入中去除主导均值和主成分（D=7）。
• 对后处理后的嵌入执行PCA，将维度降低至N = d/2，其中d为原始维度。
• 使用标准PCA算法，将词向量投影到后处理数据的前N个主成分上。
• 确保后处理步骤在PCA之前应用，以在流水线早期消除主导的、非判别性的方向。
• 使用scikit-learn中的PCA实现以保证计算的一致性和高效性。
• 在多个预训练嵌入（GloVe、fastText）和不同维度水平（300D、200D、100D）上评估该方法。

实验结果

研究问题

• RQ1 将后处理与基于PCA的降维相结合，能否生成保持或提升性能的低维词嵌入？
• RQ2 在PCA之前应用后处理是否比在之后应用或不应用后处理获得更好的性能？
• RQ3 在标准词相似性基准测试中，150维嵌入的性能与300维嵌入相比如何？
• RQ4 将维度减半至原始大小的一半，能否保持或增强词嵌入的语义质量？
• RQ5 所提出的方法是否在不同类型的预训练嵌入（如GloVe、fastText）和初始维度上具有泛化能力？

主要发现

• 所提出的算法（Algo-N）将词嵌入维度减少了50%，同时在12个词相似性基准中的7个上实现了与原始300D嵌入相当或更优的性能。
• 在12个数据集上，Algo-150D在7项任务中优于原始300D嵌入，所有数据集上的平均提升为2.74%。
• 对于100D和200D的GloVe嵌入，该方法分别实现了平均2.6%和3%的性能提升，其中Algo-100D在平均性能上显著优于原始100D GloVe嵌入（提升6%）。
• 该方法始终优于基线方法：PCA、PCA+P和P+PCA，尤其在降维过程中保持语义质量方面表现更优。
• 后处理后的嵌入中，前20个主成分所解释的方差更加均衡，表明主导的、非判别性的方向影响减小。
• 该方法在不同嵌入类型和初始维度下均表现稳健，即使从200D降至100D，也能保持一致的性能提升。