[论文解读] Re-evaluating Word Mover's Distance

Ryoma Sato, Makoto Yamada+1 more|arXiv (Cornell University)|May 30, 2021

Topic Modeling参考文献 86被引用 11

一句话总结

本文重新評估了詞移動距離（WMD），表明其相較於傳統基線方法（如BOW和TF-IDF）所報告的優勢，主要源於歸一化方式的差異。作者證明，當採用L1歸一化時，WMD的表現與BOW和TF-IDF相當，並揭示了WMD與L1歸一化BOW在高維空間中存在強烈類比關係，從而挑戰了WMD作為根本更優方法的觀點。

ABSTRACT

The word mover's distance (WMD) is a fundamental technique for measuring the similarity of two documents. As the crux of WMD, it can take advantage of the underlying geometry of the word space by employing an optimal transport formulation. The original study on WMD reported that WMD outperforms classical baselines such as bag-of-words (BOW) and TF-IDF by significant margins in various datasets. In this paper, we point out that the evaluation in the original study could be misleading. We re-evaluate the performances of WMD and the classical baselines and find that the classical baselines are competitive with WMD if we employ an appropriate preprocessing, i.e., L1 normalization. In addition, we introduce an analogy between WMD and L1-normalized BOW and find that not only the performance of WMD but also the distance values resemble those of BOW in high dimensional spaces.

研究动机与目标

• 重新表達原始WMD研究中報告的WMD與傳統基線方法（如BOW和TF-IDF）之間的性能差距，該差距被視為顯著。
• 調查WMD所報告的性能提升是否源於方法論差異，特別是歸一化技術。
• 通過建立與L1歸一化BOW的正式類比，探討WMD的潛在機制。
• 澄清原始WMD評估中的誤解，特別是關於歸一化與資料集特定偏差的問題。
• 透過一致的預處理重新實現實驗，為WMD提供更準確的基準。

提出的方法

• 作者使用L1歸一化重新實現WMD與傳統基線方法（BOW、TF-IDF），以確保公平比較。
• 他們建立了WMD與L1歸一化BOW之間的理論類比，表明在特定條件下，WMD可簡化為與L1歸一化BOW等價的形式。
• 他們在多個資料集（如bbcSport、reuters、ohsumed）上進行了廣泛的基於kNN的文書分類實驗，並採用一致的預處理。
• 他們分析了高維詞嵌入空間中詞對之間距離的分佈，發現其為雙峰分佈而非常態分佈。
• 他們比較了WMD與L1歸一化BOW在匹配與非匹配詞對之間的距離值，顯示兩者在距離行為上具有高度相似性。
• 他們使用詞嵌入作為成本矩陣，採用最佳運輸公式計算地球移動距離，即文書分佈之間的最小運輸成本。

实验结果

研究问题

• RQ1 當兩種方法均一致地歸一化時，WMD相較於BOW和TF-IDF的報告性能優勢是否仍然成立？
• RQ2 原始評估中使WMD顯得更優越的潛在機制是什麼？
• RQ3 在多個資料集上，WMD與L1歸一化BOW在距離值與分類表現方面如何比較？
• RQ4 為何在原始WMD評估中TF-IDF表現劣於BOW？這是歸因於歸一化問題還是資料集特定的問題？
• RQ5 高維詞嵌入在多大程度上導致WMD表現類似於L1歸一化BOW？

主要发现

• 在採用L1歸一化後，WMD的表現與BOW和TF-IDF相當，報告的性能差距僅減少2%至8%。
• 原始WMD評估過度強調了其優勢，特別是因為基線方法未採用L1歸一化。
• 在高維空間中，WMD與L1歸一化BOW產生幾乎相同的距離值，表明WMD的優勢並非源於語義幾何結構，而是源於歸一化方式。
• WMD中詞對距離的分佈為雙峰而非常態分佈，表明WMD依賴於少數高相似度詞對。
• 當正確歸一化時，TF-IDF表現優於原始BOW，與原始WMD研究中TF-IDF劣於BOW的發現相矛盾。
• 作者確認，當歸一化一致時，WMD並未顯著優於傳統基線方法，從而挑戰了其作為根本更優方法的地位。