[论文解读] Word Mover's Embedding: From Word2Vec to Document Embedding

Lingfei Wu, Ian En-Hsu Yen+6 more|arXiv (Cornell University)|Oct 30, 2018

Topic Modeling参考文献 50被引用 18

一句话总结

本文提出了一种新型无监督方法——词移动嵌入（Word Mover's Embedding, WME），通过利用词移动距离（Word Mover's Distance, WMD）并结合预训练词向量在语义空间中对齐词语，生成文档和句子的嵌入表示。WME采用基于WMD的正定核的随机特征近似方法，实现了高效、可扩展且准确的文档表示，其在9个文本分类和22个文本相似度基准测试中均优于当前最先进方法，且相比基于WMD的K近邻（KNN）方法实现了数量级的加速。

ABSTRACT

While the celebrated Word2Vec technique yields semantically rich representations for individual words, there has been relatively less success in extending to generate unsupervised sentences or documents embeddings. Recent work has demonstrated that a distance measure between documents called \emph{Word Mover's Distance} (WMD) that aligns semantically similar words, yields unprecedented KNN classification accuracy. However, WMD is expensive to compute, and it is hard to extend its use beyond a KNN classifier. In this paper, we propose the \emph{Word Mover's Embedding } (WME), a novel approach to building an unsupervised document (sentence) embedding from pre-trained word embeddings. In our experiments on 9 benchmark text classification datasets and 22 textual similarity tasks, the proposed technique consistently matches or outperforms state-of-the-art techniques, with significantly higher accuracy on problems of short length.

研究动机与目标

• 解决尽管Word2Vec在单个词语表示上取得成功，但缺乏高效无监督文档与句子嵌入方法的问题。
• 克服词移动距离（WMD）计算成本高且适用范围有限的问题，因为其仅适用于K近邻（KNN）和K均值（K-means）算法，不兼容通用机器学习模型。
• 开发一种灵活、高效且通用的框架，将预训练词嵌入转化为固定长度、语义保持的文档嵌入。
• 使WMD的语义对齐能力可应用于KNN分类之外的更广泛下游任务。

提出的方法

• 通过从给定分布中随机采样文档，将词移动距离（WMD）应用于无限维特征映射，构建一个正定核。
• 对基于WMD的核应用随机特征近似，推导出低维、连续的向量表示（即WME），以近似精确的核计算。
• 将所得的WME向量用作句子或文档的固定长度嵌入表示，从而与标准机器学习模型（如线性分类器）兼容。
• 利用预训练词嵌入（如Word2Vec、GloVe）作为WMD计算的语义空间，确保不同文档中语义相似词语的对齐。
• 在WME框架中集成TF-IDF加权机制，以突出重要词语，提升短文本任务的性能。
• 通过允许将Word2Vec和WMD替换为其他词嵌入或距离计算方法（如S-WMD、GloVe），确保方法完全可并行化且可扩展。

实验结果

研究问题

• RQ1 我们能否将计算成本高昂的词移动距离（WMD）转化为适用于通用机器学习模型的可扩展、固定长度文档嵌入？
• RQ2 通过随机特征近似从WMD导出的核是否能保持语义结构，同时实现高效推理？
• RQ3 所提出的词移动嵌入（WME）在文本分类与文本相似度任务中是否能实现超越现有无监督与监督方法的最先进性能？
• RQ4 在降低计算成本的前提下，WME在多大程度上优于或匹配KNN-WMD的准确性？

主要发现

• 在9个基准文本分类数据集上，WME始终与最先进方法持平或超越，尤其在短文本任务中显著提升准确率。
• 在22项文本相似度任务中，WME的性能与强监督模型（如LSTM和RNN）相当，且在皮尔逊相关系数上比无监督方法（如Skip-Thought和nbow）高出10%至33%。
• WME在测试准确率上与KNN-WMD相当，但将计算成本从文档长度的立方级降低至线性级，同时将样本数量的复杂度从二次方降低至线性。
• WME在STS'12任务上优于SIF方法，并在其他STS任务中表现出具有竞争力的性能，证明其在无需微调的情况下具备强大的泛化能力。
• 该方法高度高效且可扩展，支持完全并行化，可部署于KNN分类之外的多样化自然语言处理流水线中。