[论文解读] Wasserstein-Fisher-Rao Document Distance

Zihao Wang, Datong Zhou+3 more|arXiv (Cornell University)|Apr 23, 2019

Topic Modeling参考文献 31被引用 4

一句话总结

本文提出 Wasserstein-Fisher-Rao (WFR) 文档距离，作为 Word Mover's Distance (WMD) 的稳健、可解释的替代方案，用于衡量长度各异文档之间的语义相似性。通过利用非平衡最优传输理论，WFR 自动根据语义相似性对运输计划进行重加权，从而减少 WMD 在长度变化文本中对差异性的高估。该方法在八个数据集上的 KNN 分类准确率方面实现显著提升，尤其在文档词数方差较高的数据集中表现更优。

ABSTRACT

As a fundamental problem of natural language processing, it is important to measure the distance between different documents. Among the existing methods, the Word Mover's Distance (WMD) has shown remarkable success in document semantic matching for its clear physical insight as a parameter-free model. However, WMD is essentially based on the classical Wasserstein metric, thus it often fails to robustly represent the semantic similarity between texts of different lengths. In this paper, we apply the newly developed Wasserstein-Fisher-Rao (WFR) metric from unbalanced optimal transport theory to measure the distance between different documents. The proposed WFR document distance maintains the great interpretability and simplicity as WMD. We demonstrate that the WFR document distance has significant advantages when comparing the texts of different lengths. In addition, an accelerated Sinkhorn based algorithm with GPU implementation has been developed for the fast computation of WFR distances. The KNN classification results on eight datasets have shown its clear improvement over WMD.

研究动机与目标

• 解决 Word Mover's Distance (WMD) 在比较长度不同的文档时对语义差异性的高估问题。
• 开发一种保持 WMD 可解释性的同时，对长度变化更具鲁棒性的文档距离度量方法。
• 将非平衡最优传输理论中新开发的 Wasserstein-Fisher-Rao (WFR) 度量应用于文档相似性计算。
• 在独立框架和集成框架（如 Word Mover's Embedding (WME)）中评估 WFR 文档距离。
• 证明 WFR 能够在 KNN 分类和文档检索等任务中实现更有效的语义匹配。

提出的方法

• WFR 文档距离通过 Wasserstein-Fisher-Rao 度量定义，该度量通过引入质量不平衡惩罚项，扩展了经典 Wasserstein 距离，允许非平衡传输。
• 该方法将文档建模为归一化的词袋（nBOW）分布，并在嵌入空间中计算词向量之间的运输成本。
• 与强制质量守恒的 WMD 不同，WFR 引入质量不平衡惩罚项，使运输计划能根据语义接近度自适应地重新加权。
• 通过 GPU 加速的 WFR Sinkhorn 迭代，高效计算 WFR 运输计划，实现可扩展的推理。
• 将该框架集成到 Word Mover's Embedding (WME) 流程中，用 WFR 替代 WMD 以改进嵌入估计。
• 通过每个数据集上的五折交叉验证，对邻居数（k）和正则化参数（η）等超参数进行优化。

实验结果

研究问题

• RQ1 WFR 文档距离在分类长度各异的文档时是否优于 WMD？
• RQ2 WFR 是否能缓解 WMD 在长度变化文本比较中导致的差异性高估问题？
• RQ3 与依赖全局重加权的监督基线方法 S-WMD 相比，WFR 的表现如何，尤其是在后者使用监督重加权的情况下？
• RQ4 WFR 是否能提升现有框架（如 Word Mover's Embedding (WME)）的性能？
• RQ5 WFR 度量在实际 NLP 应用中是否足够高效且可扩展？

主要发现

• 在全部八个数据集中，WFR 文档距离的 KNN 分类误差率均低于 WMD，尤其在文档长度方差较高的数据集（如 BBCSPORTS、AMAZON、20NEWS）中优势显著。
• 在 BBCSPORTS 数据集中，WFR 将误差率降低至 2.7±1.0，而 WMD 为 3.5±0.7，表明其对长度变化具有更强的鲁棒性。
• 在八个数据集中的六个上，WFR 表现优于 S-WMD，尽管 S-WMD 使用了监督重加权，这表明 WFR 具有更优越、更依赖文本的重加权机制。
• 在 WME 框架中，使用 512 次蒙特卡洛采样的 WFR 实现了与使用 4096 次采样的 WMD 相当的性能，显著降低了计算成本。
• 基于 WFR 的 WME 框架在 20NEWS 数据集上达到 29.8 的测试误差，优于相同采样条件下 WME+WMD 的 30.7，表现更优。
• 数值实验确认 WFR 既有效又高效，GPU 加速的 Sinkhorn 迭代支持其可扩展的部署。