[论文解读] Speeding up Word Mover's Distance and its variants via properties of distances between embeddings

Matheus Werner, Eduardo Sany Laber|arXiv (Cornell University)|Dec 1, 2019

Topic Modeling参考文献 20被引用 11

一句话总结

该论文提出了一种新颖的方法，通过利用词嵌入距离的经验特性来加速词移距离（WMD）及其松弛变体（RWMD）：即词嵌入之间的距离可聚类为两类——语义相关词语间距离较小，无关词语间距离为统一值。通过建模这一结构，该方法降低了计算复杂度和内存使用，实现了在10个数据集上与RWMD相比高达15倍的加速，且分类准确率无任何损失。

ABSTRACT

The Word Mover's Distance (WMD) proposed by Kusner et al. is a distance between documents that takes advantage of semantic relations among words that are captured by their embeddings. This distance proved to be quite effective, obtaining state-of-art error rates for classification tasks, but is also impracticable for large collections/documents due to its computational complexity. For circumventing this problem, variants of WMD have been proposed. Among them, Relaxed Word Mover's Distance (RWMD) is one of the most successful due to its simplicity, effectiveness, and also because of its fast implementations. Relying on assumptions that are supported by empirical properties of the distances between embeddings, we propose an approach to speed up both WMD and RWMD. Experiments over 10 datasets suggest that our approach leads to a significant speed-up in document classification tasks while maintaining the same error rates.

研究动机与目标

• 解决在大规模文档分类任务中词移距离（WMD）及其变体的高计算成本问题。
• 通过利用词嵌入距离的结构特性，降低内存使用并加速距离计算。
• 在显著提升运行时效率的同时，保持最先进水平的分类性能。
• 使WMD类距离在需要快速文档相似性计算的实际应用中具备可部署性。

提出的方法

• 假设词嵌入之间的距离分为两类：语义相关词语间距离较小，无关词语间距离为常数。
• 基于该双组假设，重新表述WMD和RWMD的运输问题，以减少非零边成本的数量。
• 提出一种基于聚类的缓存构建方法，适用于大规模词汇表，使用k-means对嵌入进行分组并预计算距离。
• 提出Rel-RWMD(S)变体，其缓存大小与聚类数量成正比，而非与完整词汇对成正比。
• 引入参数$ r $以控制每个词考虑的相关词数量，实现速度与准确率之间的权衡。
• 采用线性时间实现的RWMD并结合缓存机制，通过聚类优化以降低预处理和存储成本。

实验结果

研究问题

• RQ1 能否利用词嵌入之间距离的分布特性来降低WMD和RWMD的复杂度？
• RQ2 假设无关词对之间的距离为统一值，是否能在实现更快计算的同时保持分类准确率？
• RQ3 通过聚类嵌入并仅缓存相关距离，内存使用和计算时间最多可降低多少？
• RQ4 在真实世界文档分类任务中，该方法与标准WMD和RWMD相比，在速度和准确率方面表现如何？

主要发现

• 所提方法在一项分类任务中相较RWMD平均提速近5倍，在另一项任务中提速达15倍，且测试误差无下降。
• 在Arxiv数据集上，Rel-RWMD(S)比RWMD(S)快27倍，测试误差为23.16%，而RWMD(S)为23.43%。
• 在Wikipedia数据集上，Rel-RWMD(S)比RWMD(S)快3倍，测试误差为26.90%，而RWMD(S)为27.01%。
• Rel-RWMD(S)的预处理阶段占用了主要运行时间，但一旦缓存构建完成，距离计算速度比RWMD(S)快25至60倍。
• 该方法在性能上与WMD和RWMD保持竞争力，在所有数据集上测试误差均与最佳基线相差不超过0.5%。
• 通过仅缓存基于聚类的距离而非完整成对距离，该方法显著降低了内存使用，尤其在大规模词汇表场景下优势明显。